O que a investigação diz realmente sobre ensinar através da internet

Constatações

1. Online vs. presencial: equivalente, não superior — a menos que seja misturado e dirigido por instrutor

A Evaluation of Evidence-Based Practices in Online Learning do Departamento de Educação dos EUA (Means, Toyama, Murphy, Bakia & Jones, 2010) analisou meta‑estatisticamente 50 tamanhos de efeito de estudos controlados ou quase‑experimentais, 1996‑2008 [1]. Números principais:

• Online puro vs. presencial: +0,05, p=.46 — estatisticamente equivalente, não melhor.
• Misturado vs. presencial: +0,35, p<.001 — uma vantagem real.
• Instrução online dirigida por instrutor: +0,39 (significativo); colaborativa: +0,25 (significativo); aprendizagem online independente/autodirigida: +0,05 (não significativo) [1].
• Quando o currículo e a pedagogia foram mantidos idênticos entre as condições, o efeito foi menor (+0,13) do que quando a condição online acrescentou tempo ou materiais (+0,40) — a vantagem do misturado deve‑se sobretudo a mais tempo e materiais, não ao meio [1].
• Apenas 7 dos 50 contrastes envolveram aprendizes do ensino K‑12; o relatório alerta explicitamente contra a generalização de estudos com adultos ou ensino superior para crianças [1].
• Vídeos e questionários online não melhoraram a aprendizagem de forma mensurável; prompts de reflexão/automonitorização do aprendiz e controlo do utilizador sobre a mídia ajudaram indivíduos; o apoio para grupos alterou os padrões de interação mas não a quantidade aprendida [1].

A descoberta fundamental para um produto auto‑ritmo: “aprendizagem independente” — a condição mais próxima de uma aplicação não supervisionada — é a que apresenta um efeito não significativo (+0,05). Os ganhos que os investigadores realmente observaram decorreram da direção do instrutor, da colaboração ou de tempo/materiais adicionais, nenhum dos quais uma aplicação puramente auto‑ritmo fornece a menos que seja deliberadamente incorporado.

2. MOOCs: baixa taxa de conclusão é, em grande parte, o problema errado a preocupar‑se

As taxas de conclusão dos MOOC têm sido baixas desde o seu lançamento em 2012 — os cursos HarvardX/MITx registaram cerca de 22 % de conclusão no primeiro ano [8]. Uma investigação de Stanford identificou quatro arquétipos de aprendizes com intenções muito diferentes: “completadores” (5–27 %), desistentes “desengajados” rápidos (6–29 %), “auditores” que assistem mas saltam avaliações (6–9 %), e “amostradores” que nunca pretenderam terminar (39–80 %) [8]. O artigo de Reich & Ruipérez‑Valiente na Science “The MOOC Pivot” (2019) argumenta que a taxa de conclusão é uma métrica de sucesso fraca precisamente porque a maioria dos inscritos nunca pretendia concluir totalmente, e que os fornecedores de MOOC mudaram de uma missão fundadora de acesso aberto para servir profissionais já credenciados que pagam por credenciais — o oposto da promessa de “democratizar a educação de elite” com que o formato foi lançado. Um ponto de dados concreto: a Coursera constatou que os aprendizes que pagaram $30–90 concluíram a um ritmo muito mais elevado do que os que fizeram o curso gratuitamente [8] — um efeito de dispositivo de compromisso, não um efeito de conteúdo.

A implicação: deixar de medir o sucesso como “% que completam todo o currículo” e, em vez disso, monitorizar a mestria envolvida entre os que regressam, bem como o que prevê visitas de retorno.

3. Vídeo educativo: curto, pessoal, e supera alta qualidade de produção

O estudo de Guo, Kim & Rubin na edX (2014) analisou 6,9 milhões de sessões de visualização de vídeo em quatro MOOCs [2]:

• O tempo médio de envolvimento é no máximo 6 minutos independentemente da duração total do vídeo; espetadores de vídeos com mais de 9 minutos normalmente não chegam ao ponto médio [2].
• As taxas de tentativa de problemas após o vídeo diminuem progressivamente com a duração: 56 %, 48 %, 43 %, 41 %, 31 % nos cinco intervalos de comprimento (0‑3 a 12‑40 minutos) [2].
• Vídeos informais de “cabeça a falar” superam os apenas de diapositivos ou gravações de código (46 % vs. 33 % de taxa de tentativa pós‑vídeo num curso) [2].
• Desenho em tablet ao estilo Khan supera tutoriais de diapositivos/código (40 % vs. 31 %) [2].
• Alta qualidade de produção não ajudou. Um curso de grande orçamento gravado em estúdio de TV (PH207x) teve menos envolvimento do que um curso filmado informalmente numa mesa de escritório (6,00x) de estilo semelhante — aproximadamente metade do tempo de envolvimento a 6‑9 minutos, um terço a 12 + minutos [2].
• Ritmos de fala mais rápidos e entusiásticos superaram a taxa tradicionalmente recomendada de ~160 ppm; o efeito acompanhou a energia do instrutor, não o ritmo bruto — os autores recomendam treinar o entusiasmo, não forçar a velocidade [2].
• Vídeos tutoriais (exemplos resolvidos) são visualizados apenas 2–3 minutos em média independentemente da duração [2].

Isso está alinhado com a teoria cognitiva da aprendizagem multimédia de Mayer (Mayer, Multimedia Learning, 2. ed., 2009): personalização (registo conversacional supera o formal), voz (uma voz natural supera uma voz monótona), coerência (eliminar decorações que competem pela memória de trabalho), redundância (não narrar o texto na ecrã literalmente), segmentação (pedaços pequenos ao ritmo do aprendiz), sinalização (realçar o que importa). Estes princípios, derivados independentemente, correspondem ao que Guo et al. descobriram a partir dos dados de cliques: curto, pessoal, bem segmentado supera o longo, polido e passivo [2][11].

4. Fazer supera observar, por larga margem — o efeito do executor

A análise de Koedinger, Kim, Jia, MacLaren & Bier (2015) de um MOOC da Open Learning Initiative (“Learning is Not a Spectator Sport: Doing is Better than Watching”) descobriu que a quantidade de prática que um estudante realiza prevê o desempenho subsequente muito melhor do que a quantidade de leitura ou visualização que realiza, mantendo os demais fatores constantes [6]. A figura amplamente citada desta linha de trabalho: fazer traz aproximadamente seis vezes o benefício de aprendizagem estimado da leitura/visualização por unidade de tempo de estudo. Isto corresponde à descoberta do DOE de que a aprendizagem ativa/interativa superou a entrega expositiva [1], e ao achado da edX de que a maioria dos espetadores nunca termina um vídeo após alguns minutos [2]. Lido em conjunto: vídeo e leitura são, no melhor dos casos, um pequeno acesso a um problema prático, não o evento principal.

5. “2 sigma” de Bloom — uma afirmação famosa que não resiste ao escrutínio ao primeiro olhar

O artigo de Bloom de 1984 relatou que a tutoria individual com técnicas de aprendizagem por domínio produziu, em média, dois desvios‑padrão de ganho em relação ao ensino convencional — o estudante tutelado médio obtendo pontuação acima de 98 % dos controlos [4]. Este é o número mais frequentemente invocado para justificar produtos de “tutor IA”, e merece três ressalvas. Primeiro, provém de duas pequenas dissertações de estudantes de pós‑graduação (Anania; Burke), nunca replicadas independentemente a essa escala [4]. Segundo, a meta‑análise moderna muito maior de tutoria real‑mundo no ensino K‑12 (Nickow, Oreopoulos & Quan, 2020, NBER WP 27476) encontra um efeito combinado de +0,37 SD — mais de cinco vezes menor — com efeitos globais semelhantes para leitura e matemática (leitura mais forte nos primeiros anos, matemática mais forte nos anos posteriores), e tutores professores/paraprofissionais superando voluntários e pais [3]. Terceiro, a literatura sobre sistemas de tutoria (VanLehn, 2011) coloca a tutoria humana especializada individual mais próxima de 0,7‑1,0 SD, não 2,0 — grande, mas não “2 sigma”. Qualquer afirmação sobre um tutor IA deve citar a gama de 0,3‑0,4 SD que a evidência meta‑analítica atual sustenta, e não a cifra de Bloom, até termos o nosso próprio efeito medido.

6. Instrução parasocial, liderada por personagens para crianças: real, mas conquistada ao longo de anos com uma equipa curricular fixa

Sesame Street é o caso melhor documentado. O “Recontact Study” de 1994 acompanhou espetadores pré‑escolares até à adolescência e encontrou, controlando por fatores de confusão, notas mais altas em Inglês/matemática/ciências, maior prazer na leitura e menor agressividade entre os antigos espetadores — mais pronunciado em rapazes [9]. Uma avaliação da Universidade de Kansas de 1995 constatou que crianças desfavorecidas aprenderam tanto por hora de visualização quanto crianças favorecidas, embora assistissem menos no total [9]. Avaliações do ETS (1970‑71) descobriram que espetadores regulares de 3 anos superaram não‑espetadores de 5 anos no reconhecimento de letras [9]. Kearney & Levine (2019, American Economic Review), usando o lançamento escalonado do sinal de transmissão da série em 1969 como experimento natural, encontraram que crianças expostas eram 14 % mais propensas a estar no nível adequado à série no ensino secundário, com melhores resultados de emprego/rendimento na vida adulta [9][10]. Estes resultados refletem décadas de colaboração entre currículo e investigação (modelo Children’s Television Workshop), não apenas o personagem — o personagem é o veículo de entrega de um currículo validado pela investigação, não um substituto para o mesmo.

7. Aprendizagem remota na era COVID: um estudo de caso cauteloso, não uma validação

Kuhfeld, Soland & Lewis analisaram 5,4 milhões de estudantes dos EUA nas séries 3‑8 e encontraram que, no outono de 2021, as pontuações de matemática estavam 0,20‑0,27 SD abaixo dos pares do mesmo ano de 2019; as perdas em leitura foram menores (0,09‑0,18 SD); as lacunas de desempenho baseadas na pobreza alargaram‑se mais 0,10‑0,20 SD, concentradas em 2020‑21 [12]. Separadamente, investigação que utilizou dados a nível de distrito (por exemplo, Goldhaber et al., AERA Open, 2022) constatou que as perdas foram maiores onde o tempo de instrução remoto/híbrido era maior em relação ao tempo presencial — a quantidade de tempo remoto acompanhou o tamanho da perda. A matemática sofreu mais nos contextos menos supervisionados, e os estudantes desfavorecidos sofreram desproporcionalmente. Isto constitui uma advertência direta para uma aplicação de matemática auto‑ritmo e não supervisionada para crianças: a matemática degrada especificamente sem estrutura e supervisão quando entregue remotamente a crianças.

Tabela de tamanho de efeito

Intervenção / comparação	Tamanho de efeito	Fonte	Aplicabilidade para nós
Instrucção puramente online vs. presencial	+0,05 (n.s., p=,46)	Means et al. 2010, DOE meta-analysis [1]	Alta — análogo mais próximo a uma aplicação auto‑ritmada não supervisionada; não alegar superioridade apenas pelo meio
Instrucção híbrida vs. presencial	+0,35 (p<,001)	Means et al. 2010 [1]	Média — a vantagem está ligada ao tempo/materiais adicionais, não ao facto de ser “online”
Instrucção online dirigida por instrutor	+0,39 (significativo)	Means et al. 2010 [1]	Alta — defende orientação estruturada, não exploração livre
Aprendizagem online independente/autodirigida	+0,05 (não significativo)	Means et al. 2010 [1]	Alta — esta é a condição a que estamos mais próximos por defeito
Instrucção online colaborativa	+0,25 (significativo)	Means et al. 2010 [1]	Média — relevante apenas se adicionarmos funcionalidades sociais/entre pares
Currículo/pedagogia mantidos idênticos entre as condições	+0,13 vs. +0,40 quando as condições diferem	Means et al. 2010 [1]	Alta — a maior parte do efeito “online funciona” é na realidade “mais conteúdo/tempo funciona”
Efeito agregado de programas de tutoria (todas as modalidades, K‑12)	+0,37 SD	Nickow, Oreopoulos & Quan 2020, NBER [3]	Alta — a base moderna credível para qualquer alegação de “tutor IA”
Tutoria de mestria individual de Bloom vs. sala de aula (1984, pequeno/não replicado)	~+2,0 SD	Bloom 1984 [4]	Baixa — histórico, contestado, não citar como expectativa
Tutoria humana especializada vs. sem tutoria (estimativa contemporânea)	~+0,7-1,0 SD	VanLehn 2011 line of research [5]	Média — teto para o que a tutoria humana ao vivo plausivelmente alcança hoje
Prática (“fazer”) vs. leitura/visualização, benefício de aprendizagem por unidade	~6x	Koedinger et al. 2015, “doer effect” [6]	Muito alta — o número único mais acionável para o design de sessões
Taxa de conclusão de MOOC, plataformas de elite, 2012	~22 % média	HarvardX/MITx data [8]	Média — reformula o que deve ser medido como “sucesso”
Perda de desempenho em matemática, outono 2021 vs. outono 2019 (3.º ao 8.º ano)	−0,20 a −0,27 SD	Kuhfeld, Soland & Lewis 2022 [12]	Alta — quantifica o risco de instrução remota de matemática não supervisionada
Perda de desempenho em leitura, mesmo período	−0,09 a −0,18 SD	Kuhfeld, Soland & Lewis 2022 [12]	Média — a matemática é a disciplina mais frágil, a nossa disciplina
Crescimento da diferença de desempenho baseada na pobreza, mesmo período	+0,10 a +0,20 SD mais ampla	Kuhfeld, Soland & Lewis 2022 [12]	Alta — risco de equidade da entrega apenas auto‑ritmada
Espetadores da Sesame Street, desempenho adequado à série na adolescência	+14 pontos percentuais	Kearney & Levine 2019 [10]	Média — resultado a longo prazo de conteúdo liderado por personagens, requer anos de rigor curricular para alcançar

Implicações de design

1. Fazer deve dominar o tempo de ecrã — um objetivo razoável é >80 % do tempo da sessão a resolver problemas, não a assistir/ler, dado o efeito ~6x de quem faz [6] e a descoberta da DOE de que o ativo supera o expositivo [1].
2. Limitar qualquer vídeo/ animação explicativa a bem menos de 6 minutos — o envolvimento atinge um platô a 6 minutos independentemente da duração, e o conteúdo de exemplos trabalhados só é realmente visualizado durante 2‑3 minutos [2].
3. Ignorar o polimento de produção. O curso caro gravado em estúdio de TV foi menos envolvente do que um apresentador informal [2]; gastar o orçamento em design instrucional, não num estúdio.
4. Se utilizarmos um personagem tutor, mostrar um rosto, não apenas diapositivos — 46 % vs. 33 % de envolvimento pós‑vídeo para apresentador vs. diapositivos [2], consistente com os princípios de personalização/voz de Mayer [11].
5. Aplicar os princípios de Mayer a qualquer interface de diálogo/explicação do tutor: tom conversacional, voz natural, decoração mínima, sem duplicação literal no ecrã/narração, fragmentos pequenos ao ritmo do aprendiz, realce visual do que importa [11].
6. Engenhar o que falta ao número +0,05 de “aprendizagem independente” [1]: sequenciação que imita a direção do instrutor (+0,39) e ciclos de feedback — apresentar conteúdo e deixar o estudante avançar clicando não produzirá, por si só, um efeito real.
7. Construir prompts de auto‑explicação/reflectão (ex.: “por que isso estava errado?”, uma verificação de confiança antes da revelação) — a reflexão/automonitorização do aprendiz é uma das apenas duas variáveis ao nível da prática que a meta‑análise da DOE encontrou como relevantes [1].
8. Não esperar que funcionalidades sociais/grupo genéricas aumentem a aprendizagem por si sós. A orientação de grupo alterou como os grupos online interagiam, não quanto aprendiam [1]; qualquer funcionalidade multijogador precisa da sua própria justificação medida.
9. Ser honesto que a evidência K‑12 é escassa. A DOE teve apenas 7 contrastes K‑12 e alertou contra a generalização de estudos com adultos [1]; a evidência de vídeo e tutoria é igualmente maioritariamente adulta/mista [2][3]. Decisões para crianças necessitam dos nossos próprios dados instrumentados.
10. Tratar a matemática como a disciplina mais frágil em contextos não supervisionados, não a mais segura — as perdas de matemática devido ao COVID (−0,20 a −0,27 SD) superaram as de leitura (−0,09 a −0,18 SD), pior em contextos mais remotos e desfavorecidos [12]. Isto defende estrutura e monitorização ativas, não “qualquer prática de matemática online está bem”.
11. Fontear qualquer alegação de marketing de resultados ao intervalo de tutoria de 0,3‑0,4 SD [3], nunca a “2 sigma de Bloom” [4] — o teto moderno credível para tutoria humana especializada é ~0,7‑1,0 SD [5], não 2,0, até termos o nosso próprio efeito medido.
12. Eliminar ”% que completam todo o currículo” como métrica principal. A maioria dos não‑completadores de MOOC nunca pretendia terminar [8]; monitorizar o ganho de mestria entre sessões envolvidas e a taxa de retorno/re‑envolvimento, observando especificamente a desistência nas primeiras sessões.
13. Considerar um mecanismo deliberado de compromisso (sequência, relatório visível ao pai/mãe, uma pontuação diagnóstica a melhorar) — os aprendizes de MOOC pagos concluíram a taxas muito mais altas que os gratuitos [8], um efeito de incentivos, não de conteúdo.
14. Um personagem/mascote persistente é um investimento curricular de vários anos, não um ativo pontual — os resultados da Sesame Street resultaram de décadas de investigação curricular associada ao personagem [9][10]; um mascote sem esse rigor subjacente não os reproduzirá.
15. Medir se a aplicação ensina algo com pré/post + retenção retardada, não com um questionário imediato pós‑aula (que mede a memória de trabalho, não a aprendizagem): itens reservados, uma verificação de retenção dias‑a‑semanas depois, e um controlo ou lançamento escalonado quando viável [1].
16. Monitorizar “minutos de resolução real de problemas tentados” como a principal métrica interna — a dosagem de fazer, não a exposição ao conteúdo, é o que a literatura de tamanho de efeito recompensa consistentemente [1][3][6].

Questões abertas para o proprietário do projeto

1. Comprometemos agora esforço de engenharia para levar o produto ao nível de evidência “dirigido por instrutor” (+0,39), dado que o uso auto‑ritmado não estruturado está no nível mais fraco (+0,05, n.s.)?
2. Que mecanismo de compromisso/incentivo (sequência, relatório visível ao pai/mãe, reteste diagnóstico) estamos dispostos a construir, dado que os incentivos previram fortemente a conclusão de MOOC?
3. Queremos um personagem tutor persistente, dado que a eficácia ao nível da Sesame Street exigiu décadas de investigação curricular associada — a nossa equipa curricular tem recursos para isso, ou deveríamos usar uma voz de UI mais simples?
4. Qual alegação de resultado, se houver, o marketing fará, e podemos comprometer‑nos a fundamentá‑la no intervalo de tutoria ~0,3‑0,4 SD em vez de “2 sigma de Bloom”?
5. Iremos conduzir o nosso próprio estudo pré/post + retenção retardada antes de fazer qualquer alegação de resultado de aprendizagem, e em que prazo?
6. Dadas as maiores perdas de matemática na era COVID comparadas com a leitura, o uso não supervisionado por crianças pequenas deve exigir um passo de configuração por pai/mãe ou uma mensagem explícita de “necessita supervisão”?
7. Deverá qualquer explicação em vídeo/animação ser limitada a um limite de duração rígido (por exemplo, 3 minutos) como política de design?