O que a pesquisa realmente diz sobre o ensino pela internet

Resultados

1. Online vs. presencial: equivalente, não superior — a menos que seja híbrido e dirigido por instrutor

O Evaluation of Evidence-Based Practices in Online Learning do Departamento de Educação dos EUA (Means, Toyama, Murphy, Bakia & Jones, 2010) fez meta-análise de 50 tamanhos de efeito de estudos controlados ou quase-experimentais, 1996-2008 [1]. Números principais:

• Online puro vs. presencial: +0,05, p=,46 — estatisticamente equivalente, não melhor.
• Híbrido vs. presencial: +0,35, p<,001 — uma vantagem real.
• Instrução online dirigida por instrutor: +0,39 (significativo); colaborativa: +0,25 (significativo); aprendizagem online independente/autodirigida: +0,05 (não significativo) [1].
• Quando o currículo e a pedagogia foram mantidos idênticos entre as condições, o efeito foi menor (+0,13) do que quando a condição online adicionou tempo ou materiais (+0,40) — a vantagem do híbrido deve-se em grande parte a mais tempo e materiais, não ao meio [1].
• Apenas 7 de 50 contrastes envolveram estudantes de K-12; o relatório alerta explicitamente contra a generalização de estudos com adultos ou ensino superior para crianças [1].
• Vídeos e questionários online não melhoraram a aprendizagem de forma mensurável; prompts de reflexão/automonitoramento do aprendiz e controle do aprendiz sobre a mídia ajudaram indivíduos; o apoio para grupos mudou os padrões de interação, mas não a quantidade aprendida [1].

A descoberta central para um produto auto-ritmo: “aprendizagem independente” — a condição mais próxima de um aplicativo não supervisionado — é a que apresenta efeito não significativo (+0,05). Os ganhos que os pesquisadores realmente observaram vieram da direção do instrutor, colaboração ou tempo/materiais adicionais, nenhum dos quais um aplicativo puramente auto-ritmo fornece a menos que seja deliberadamente projetado para isso.

2. MOOCs: baixa taxa de conclusão é, em grande parte, o problema errado a se preocupar

Taxas de conclusão de MOOCs são baixas desde o debut do formato em 2012 — os cursos HarvardX/MITx tiveram, em média, cerca de 22% de conclusão no primeiro ano [8]. Pesquisa de Stanford identificou quatro arquétipos de aprendizes com intenções muito diferentes: “completadores” (5–27%), desistentes “desengajados” rápidos (6–29%), “auditores” que assistem mas pulam avaliações (6–9%), e “amostradores” que nunca pretenderam terminar (39–80%) [8]. O artigo da Science de Reich & Ruipérez-Valiente “The MOOC Pivot” (2019) argumenta que a taxa de conclusão é uma métrica de sucesso pobre precisamente porque a maioria dos inscritos nunca pretendia concluir totalmente, e que os provedores de MOOC mudaram de uma missão fundadora de acesso aberto para atender profissionais já credenciados que pagam por credenciais — o oposto da proposta de “democratizar a educação de elite” com que o formato foi lançado. Um dado concreto: a Coursera constatou que aprendizes que pagaram $30–90 concluíram em taxas muito maiores do que aqueles que fizeram o curso gratuitamente [8] — um efeito de dispositivo de compromisso, não de conteúdo.

A implicação: parar de medir o sucesso como “% que completam todo o currículo” e, em vez disso, acompanhar a maestria engajada entre os retornantes e o que prediz visitas de retorno.

3. Vídeo educacional: curto, pessoal, e supera alta produção

O estudo da edX de Guo, Kim & Rubin (2014) analisou 6,9 milhões de sessões de visualização de vídeo em quatro MOOCs [2]:

• O tempo médio de engajamento é no máximo 6 minutos independentemente da duração total do vídeo; espectadores de vídeos com mais de 9 minutos normalmente não chegam à metade [2].
• As taxas de tentativa de problemas após o vídeo caem continuamente com o comprimento: 56%, 48%, 43%, 41%, 31% nos cinco intervalos de duração (0-3 a 12-40 minutos) [2].
• Vídeos informais de “cabeça falando” superam vídeos apenas de slides ou screencasts de código (46% vs. 33% na taxa de tentativa de problema pós-vídeo em um curso) [2].
• Desenho em tablet ao estilo Khan supera tutoriais de slides/código (40% vs. 31%) [2].
• Alta produção não ajudou. Um curso de grande orçamento em estúdio de TV (PH207x) teve menos engajamento que um curso filmado informalmente em mesa de escritório (6,00x) de estilo similar — aproximadamente metade do tempo de engajamento entre 6-9 minutos, um terço acima de 12 minutos [2].
• Taxas de fala mais rápidas e entusiasmadas superaram a recomendação tradicional de ~160 ppm; o efeito acompanhou a energia do instrutor, não o ritmo bruto — os autores recomendam treinar o entusiasmo, não forçar a velocidade [2].
• Vídeos tutoriais (exemplos resolvidos) são assistidos em média apenas 2–3 minutos independentemente da duração [2].

Isso está alinhado com a teoria cognitiva da aprendizagem multimídia de Mayer (Mayer, Multimedia Learning, 2ª ed., 2009): personalização (registro conversacional supera o formal), voz (voz natural supera voz monótona), coerência (remover decoração que compete com a memória de trabalho), redundância (não narrar o texto na tela literalmente), segmentação (pedaços pequenos no ritmo do aprendiz), sinalização (destacar o que importa). Esses princípios, derivados independentemente, correspondem ao que Guo et al. encontraram nos dados de cliques: curto, pessoal, bem segmentado supera longo, polido e passivo [2][11].

4. Fazer supera assistir, por larga margem — o efeito do executor

A análise de 2015 de Koedinger, Kim, Jia, MacLaren & Bier sobre um MOOC da Open Learning Initiative (“Learning is Not a Spectator Sport: Doing is Better than Watching”) encontrou que a quantidade de prática que um estudante realiza prediz o desempenho subsequente muito melhor do que a quantidade de leitura ou visualização que ele faz, mantendo outros fatores constantes [6]. A figura amplamente citada desse trabalho: fazer traz aproximadamente seis vezes o benefício de aprendizagem estimado de ler/assistir por unidade de tempo de estudo. Isso corresponde à constatação do DOE de que aprendizagem ativa/interativa supera a entrega expositiva [1], e ao achado da edX de que a maioria dos espectadores nunca termina um vídeo após alguns minutos [2]. Lendo em conjunto: vídeo e leitura são, no máximo, uma breve rampa de acesso a um problema prático, não o evento principal.

5. “2 sigma” de Bloom — uma afirmação famosa que não resiste ao escrutínio à primeira vista

O artigo de Bloom de 1984 relatou que tutoria individual com técnicas de aprendizagem por domínio produziu, em média, dois desvios-padrão de ganho em relação ao ensino convencional em sala de aula — o estudante tutorizado médio pontuando acima de 98% dos controles [4]. Esse é o número mais frequentemente invocado para justificar produtos de “tutor de IA”, e merece três ressalvas. Primeiro, ele provém de duas pequenas dissertações de estudantes de pós-graduação (Anania; Burke), nunca replicadas independentemente nessa escala [4]. Segundo, a meta-análise moderna muito maior de tutoria real-mundo K-12 (Nickow, Oreopoulos & Quan, 2020, NBER WP 27476) encontra um efeito combinado de +0,37 SD — mais de cinco vezes menor — com efeitos gerais semelhantes para leitura e matemática (leitura mais forte nos primeiros anos, matemática mais forte nos anos posteriores), e tutores professores/paraprofissionais superando voluntários e pais [3]. Terceiro, a literatura de sistemas de tutoria (VanLehn, 2011) coloca a tutoria humana especializada individual mais próxima de 0,7-1,0 SD, não 2,0 — grande, mas não “2 sigma”. Qualquer afirmação sobre um tutor de IA deve citar a faixa de 0,3-0,4 SD que a evidência meta-analítica atual sustenta, não a figura de Bloom, até que tenhamos nosso próprio efeito medido.

6. Instrução parasocial, liderada por personagens para crianças: real, mas conquistada ao longo de anos com equipe curricular fixa

O Sesame Street é o caso mais bem documentado. O “Recontact Study” de 1994 acompanhou espectadores pré-escolares até a adolescência e encontrou, controlando por fatores de confusão, notas mais altas em inglês/matemática/ciências, maior prazer na leitura e menor agressividade entre os ex-espectadores — efeito mais forte para meninos [9]. Uma avaliação da Universidade de Kansas de 1995 constatou que crianças desfavorecidas aprendiam tanto por hora de visualização quanto crianças favorecidas, embora assistissem menos no total [9]. Avaliações do ETS (1970-71) descobriram que espectadores regulares de 3 anos superavam não-espectadores de 5 anos no reconhecimento de letras [9]. Kearney & Levine (2019, American Economic Review), usando a implantação escalonada do sinal de transmissão do programa em 1969 como experimento natural, encontraram que crianças expostas eram 14% mais propensas a estar no nível adequado à série no ensino médio, com melhores resultados de emprego e salário na vida adulta [9][10]. Esses resultados refletem décadas de colaboração entre currículo e pesquisa (modelo da Children’s Television Workshop), não apenas o personagem — o personagem é o veículo de entrega de um currículo validado por pesquisa, não um substituto para ele.

7. Aprendizagem remota na era COVID: um estudo de caso cauteloso, não uma validação

A análise de Kuhfeld, Soland & Lewis de 5,4 milhões de estudantes dos EUA nas séries 3-8 constatou que as notas de matemática no outono de 2021 ficaram 0,20-0,27 SD abaixo das de colegas do mesmo ano em 2019, com perdas menores em leitura (0,09-0,18 SD); as lacunas de desempenho baseadas na pobreza ampliaram-se em mais 0,10-0,20 SD, concentradas em 2020-21 [12]. Separadamente, pesquisas usando dados a nível de distrito (por exemplo, Goldhaber et al., AERA Open, 2022) descobriram que as perdas foram maiores onde o tempo de instrução remoto/híbrido foi maior em relação ao tempo presencial — a quantidade de tempo remoto acompanhou o tamanho da perda. Matemática sofreu mais nos ambientes menos supervisionados, e estudantes desfavorecidos sofreram desproporcionalmente. Isso é um alerta direto para um aplicativo de matemática auto-ritmo e não supervisionado para crianças: a matemática degrada especificamente sem estrutura e supervisão quando entregue remotamente a crianças.

Tabela de tamanho de efeito

Intervenção / comparação	Tamanho do efeito	Fonte	Aplicabilidade para nós
Instruição puramente online vs. presencial	+0,05 (n.s., p=,46)	Means et al. 2010, DOE meta-analysis [1]	Alta — análogo mais próximo ao app auto-dirigido não supervisionado; não reivindique superioridade apenas pelo meio
Instruição híbrida vs. presencial	+0,35 (p<,001)	Means et al. 2010 [1]	Média — vantagem ligada ao tempo/materiais adicionais, não ao fato de ser “online”
Instruição online dirigida por instrutor	+0,39 (significativo)	Means et al. 2010 [1]	Alta — defende orientação estruturada, não exploração livre
Aprendizagem online independente/autodirigida	+0,05 (não significativo)	Means et al. 2010 [1]	Alta — esta é a condição que mais se aproxima do nosso padrão por padrão
Instruição online colaborativa	+0,25 (significativo)	Means et al. 2010 [1]	Média — relevante apenas se adicionarmos recursos sociais/entre pares
Currículo/pedagogia mantidos idênticos entre condições	+0,13 vs. +0,40 quando as condições diferem	Means et al. 2010 [1]	Alta — a maior parte do efeito “online funciona” é realmente “mais conteúdo/tempo funciona”
Efeito agregado de programas de tutoria (todas as modalidades, K-12)	+0,37 SD	Nickow, Oreopoulos & Quan 2020, NBER [3]	Alta — a linha de base moderna credível para qualquer alegação de “tutor IA”
Tutoria individual de Bloom vs. sala de aula (1984, pequeno/não replicado)	~+2,0 SD	Bloom 1984 [4]	Baixa — histórico, contestado, não cite como expectativa
Tutoria humana especializada vs. sem tutoria (estimativa contemporânea)	~+0,7-1,0 SD	VanLehn 2011 line of research [5]	Média — teto para o que a tutoria humana ao vivo plausivelmente alcança hoje
Prática (“fazer”) vs. leitura/visualização, benefício de aprendizado por unidade	~6x	Koedinger et al. 2015, “doer effect” [6]	Muito alta — o número mais acionável para o design de sessões
Taxa de conclusão de MOOC, plataformas elite, 2012	~22% média	HarvardX/MITx data [8]	Média — reformula o que “sucesso” deve ser medido
Perda de desempenho em matemática, out/2021 vs. out/2019 (séries 3-8)	−0,20 a −0,27 SD	Kuhfeld, Soland & Lewis 2022 [12]	Alta — quantifica risco de instrução remota de matemática não supervisionada
Perda de desempenho em leitura, mesmo período	−0,09 a −0,18 SD	Kuhfeld, Soland & Lewis 2022 [12]	Média — matemática é a disciplina mais frágil, nossa disciplina
Aumento da diferença de desempenho baseada em pobreza, mesmo período	+0,10 a +0,20 SD mais amplo	Kuhfeld, Soland & Lewis 2022 [12]	Alta — risco de equidade da entrega apenas auto-ritmada
Visualizadores da Sesame Street, desempenho adequado à série na adolescência	+14 pontos percentuais	Kearney & Levine 2019 [10]	Média — resultado de longo prazo de conteúdo liderado por personagens, requer anos de rigor curricular para ser alcançado

Implicações de design

1. Fazer deve dominar o tempo de tela — um alvo razoável é 80%+ do tempo da sessão resolvendo problemas, não assistindo/ lendo, dado o efeito ~6x do “doer” [6] e a constatação da DOE de que ativo supera expositivo [1].
2. Limite qualquer vídeo/ animação explicativa a bem menos de 6 minutos — o engajamento estabiliza em 6 minutos independentemente da duração, e conteúdo de exemplo trabalhado é realmente assistido por 2-3 minutos [2].
3. Pule o polimento de produção. O curso caro de estúdio de TV foi menos envolvente que um “talking head” informal [2]; gaste o orçamento em design instrucional, não em estúdio.
4. Se usarmos um personagem tutor, mostre um rosto, não apenas slides — 46% vs. 33% de engajamento pós-vídeo para “talking-head” vs. slides [2], consistente com os princípios de personalização/voz de Mayer [11].
5. Aplique os princípios de Mayer a qualquer interface de diálogo/explicação do tutor: tom conversacional, voz natural, decoração mínima, sem duplicação literal na tela/narração, blocos pequenos no ritmo do aprendiz, realce visual do que importa [11].
6. Engenhe o que o número +0,05 “aprendizagem independente” não cobre [1]: sequenciamento que imita direção de instrutor (+0,39) e ciclos de feedback — apresentar conteúdo e deixar o estudante clicar não produzirá, por si só, efeito real.
7. Construa prompts de auto-explicação/reflexão (ex.: “por que isso estava errado?”, verificação de confiança antes da revelação) — a reflexão/auto-monitoramento do aprendiz é uma das duas únicas variáveis de prática que a meta-análise da DOE achou relevantes [1].
8. Não espere que recursos sociais/grupo genéricos aumentem o aprendizado por si só. A orientação de grupo mudou como grupos online interagiam, não quanto aprendiam [1]; qualquer recurso multijogador precisa de justificativa medida própria.
9. Seja honesto que a evidência K-12 é escassa. A DOE teve apenas 7 contrastes K-12 e alertou contra generalizar a partir de estudos adultos [1]; a evidência de vídeo e tutoria é igualmente majoritariamente adulta/mista de idades [2][3]. Decisões para crianças precisam de nossos próprios dados instrumentados.
10. Trate matemática como a disciplina mais frágil em ambientes não supervisionados, não a mais segura — perdas de matemática na COVID (−0,20 a −0,27 SD) superaram as de leitura (−0,09 a −0,18 SD), pior em contextos mais remotos e desfavorecidos [12]. Isso defende estrutura ativa e monitoramento, não “qualquer prática de matemática online serve”.
11. Fonte qualquer alegação de marketing de resultado ao intervalo de tutoria de 0,3-0,4 SD [3], nunca ao “2 sigma de Bloom” [4] — o teto moderno credível para tutoria humana especializada é ~0,7-1,0 SD [5], não 2,0, até termos nosso próprio efeito medido.
12. Retire “% que completam todo o currículo” como métrica principal. A maioria dos não-completadores de MOOC nunca pretendia terminar [8]; rastreie ganho de domínio entre sessões engajadas e taxa de retorno/re-engajamento, observando especificamente desistência nas primeiras sessões.
13. Considere um mecanismo deliberado de compromisso (sequência, relatório visível ao pai, pontuação diagnóstica a melhorar) — aprendizes pagos de MOOC completaram em taxas muito maiores que os gratuitos [8], um efeito de “stakes”, não de conteúdo.
14. Um personagem/mascote persistente é um investimento curricular de vários anos, não um ativo pontual — os resultados da Sesame Street vieram de décadas de pesquisa curricular pareada ao personagem [9][10]; um mascote sem esse rigor subjacente não os reproduzirá.
15. Meça se o app ensina algo com pré/pós + retenção retardada, não apenas um quiz imediato pós-aula (que mede memória de trabalho, não aprendizado): itens reservados, verificação de retenção dias-semanas depois, e um controle ou lançamento escalonado onde viável [1].
16. Rastreie “minutos de resolução real de problemas tentados” como a métrica interna líder — dosagem de fazer, não exposição ao conteúdo, é o que a literatura de tamanho de efeito recompensa consistentemente [1][3][6].

Perguntas abertas para o responsável do projeto

1. Comprometemos esforço de engenharia agora para levar o produto ao nível de evidência “direcionado por instrutor” (+0,39), dado que o uso auto-ritmado não estruturado está no nível mais fraco (+0,05, n.s.)?
2. Qual mecanismo de compromisso/“stakes” (sequência, relatório visível ao pai, reteste diagnóstico) estamos dispostos a construir, considerando que “stakes” previu fortemente a conclusão de MOOC?
3. Queremos um personagem tutor persistente, visto que a eficácia ao nível da Sesame Street exigiu décadas de pesquisa curricular pareada — nossa equipe de currículo tem recursos para isso, ou devemos usar uma voz de UI mais simples?
4. Qual alegação de resultado, se houver, o marketing fará, e podemos nos comprometer a referenciá-la ao intervalo de tutoria de ~0,3-0,4 SD em vez do “2 sigma de Bloom”?
5. Vamos conduzir nosso próprio estudo pré/pós + retenção retardada antes de fazer qualquer alegação de resultado de aprendizado, e em qual cronograma?
6. Dada a maior perda de matemática na era COVID comparada à leitura, o uso não supervisionado por crianças pequenas deve exigir um passo de configuração por pai/responsável ou mensagem explícita “necessita supervisão”?
7. Qualquer explicação em vídeo/ animação deve ser limitada a um teto rígido de duração (ex.: 3 minutos) como política de design?