Lo que la investigación realmente dice sobre enseñar por internet

Hallazgos

1. En línea vs. presencial: equivalente, no superior — salvo que sea combinado y dirigido por instructor

El meta-análisis Evaluation of Evidence-Based Practices in Online Learning del Departamento de Educación de EE.UU. (Means, Toyama, Murphy, Bakia & Jones, 2010) analizó 50 tamaños de efecto de estudios controlados o cuasiexperimentales, 1996-2008 [1]. Las cifras principales:

• Puramente en línea vs. presencial: +0.05, p=.46 — estadísticamente equivalente, no mejor.
• Combinado vs. presencial: +0.35, p<.001 — una ventaja real.
• Instrucción en línea dirigida por instructor: +0.39 (significativo); colaborativa: +0.25 (significativo); aprendizaje en línea independiente/autodirigido: +0.05 (no significativo) [1].
• Donde el currículo y la pedagogía se mantuvieron idénticos entre condiciones, el efecto fue menor (+0.13) que donde la condición en línea añadió tiempo o materiales (+0.40) — la ventaja del formato combinado es en gran parte más tiempo y materiales, no el medio [1].
• Solo 7 de 50 contrastes involucraron estudiantes de K-12; el informe advierte explícitamente contra generalizar de estudios con adultos/educación superior a niños [1].
• El video y los cuestionarios en línea no mejoraron el aprendizaje de forma medible; los avisos de reflexión/automonitoreo del estudiante y el control del estudiante sobre los medios ayudaron a los individuos; el andamiaje para grupos cambió los patrones de interacción pero no cuánto aprendieron [1].

El hallazgo que sostiene todo para un producto autorregulado: el “aprendizaje independiente” — la condición más cercana a una aplicación sin supervisión — es el que tiene un efecto no significativo (+0.05). Las ganancias que los investigadores realmente encontraron vinieron de la dirección del instructor, la colaboración o el tiempo/materiales añadidos, nada de lo cual una aplicación puramente autorregulada proporciona a menos que se diseñe deliberadamente.

2. MOOC: la baja finalización es, en gran parte, el problema equivocado del que preocuparse

Las tasas de finalización de los MOOC han sido bajas desde el debut del formato en 2012 — los cursos de HarvardX/MITx promediaron aproximadamente 22% de finalización en su primer año [8]. Una investigación de Stanford identificó cuatro arquetipos de estudiante con intenciones muy distintas: “completers” (5–27%), “disengaged” que abandonan rápido (6–29%), “auditors” que miran pero se saltan las evaluaciones (6–9%), y “samplers” que nunca pretendieron terminar (39–80%) [8]. El artículo de Reich & Ruipérez-Valiente en Science, “The MOOC Pivot” (2019), sostiene que la tasa de finalización es una mala métrica de éxito precisamente porque la mayoría de los inscritos nunca pretendió completar el curso entero, y que los proveedores de MOOC pivotaron de una misión fundacional de acceso abierto hacia servir a profesionales ya acreditados que pagan por credenciales — lo opuesto del discurso de “democratizar la educación de élite” con el que nació el formato. Un dato concreto: Coursera encontró que los estudiantes que pagaban $30–90 completaban a tasas mucho más altas que los que tomaban un curso gratis [8] — un efecto de mecanismo de compromiso, no un efecto de contenido.

La implicación: dejar de medir el éxito como ”% que completa todo el currículo” y, en cambio, rastrear el dominio comprometido entre quienes regresan, más lo que predice las visitas de regreso.

3. Video educativo: corto, personal, y le gana a la alta producción

El estudio de edX de Guo, Kim & Rubin (2014) analizó 6.9 millones de sesiones de visualización de video en cuatro MOOC [2]:

• El tiempo mediano de atención es de 6 minutos como máximo sin importar la duración total del video; los espectadores de videos de más de 9 minutos típicamente no llegan a la mitad [2].
• Las tasas de intento de problemas después del video caen de forma constante con la duración: 56%, 48%, 43%, 41%, 31% en los cinco tramos de duración (0-3 a 12-40 minutos) [2].
• Los videos informales de “talking head” le ganan a los de solo diapositivas o a los screencasts de código (46% vs. 33% de tasa de intento de problemas posterior al video en un curso) [2].
• El dibujo en tableta estilo Khan le ganó a los tutoriales de diapositivas/código (40% vs. 31%) [2].
• El alto valor de producción no ayudó. Un curso de gran presupuesto filmado en estudio de TV (PH207x) recibió menos atención que un curso filmado informalmente en un escritorio de oficina (6.00x) de estilo similar — aproximadamente la mitad del tiempo de atención a los 6-9 minutos, un tercio a los 12+ minutos [2].
• Hablar más rápido y con más entusiasmo generó más atención que las ~160 wpm recomendadas tradicionalmente; el efecto seguía la energía del instructor, no el ritmo en bruto — los autores recomiendan entrenar el entusiasmo, no forzar la velocidad [2].
• Los videos de tutorial (ejemplos resueltos) se ven solo 2–3 minutos en promedio sin importar su duración [2].

Esto concuerda con la teoría cognitiva del aprendizaje multimedia de Mayer (Mayer, Multimedia Learning, 2nd ed., 2009): personalización (el registro conversacional le gana al formal), voz (una voz natural le gana a una plana), coherencia (quitar la decoración que compite por la memoria de trabajo), redundancia (no narrar al pie de la letra el texto en pantalla), segmentación (trozos pequeños al ritmo del estudiante), señalización (resaltar lo que importa). Estos principios, derivados de forma independiente, coinciden con lo que Guo et al. encontraron en los datos de clics: corto, personal y bien segmentado le gana a largo, pulido y pasivo [2][11].

4. Hacer le gana a mirar, por un amplio margen — el efecto de hacer

El análisis de 2015 de Koedinger, Kim, Jia, MacLaren & Bier sobre un MOOC de Open Learning Initiative (“Learning is Not a Spectator Sport: Doing is Better than Watching”) encontró que la cantidad de práctica que hace un estudiante predice el desempeño posterior mucho mejor que la cantidad de lectura o visualización que hace, manteniendo constantes los demás factores [6]. La cifra más citada de esta línea de trabajo: hacer aporta aproximadamente seis veces el beneficio de aprendizaje estimado de leer/mirar por unidad de tiempo de estudio. Esto coincide con el hallazgo del DOE de que el aprendizaje activo/interactivo le ganó a la entrega expositiva [1], y con el hallazgo de edX de que la mayoría de los espectadores nunca termina un video más allá de unos minutos [2]. Leídos juntos: el video y la lectura son, a lo sumo, una rampa de acceso corta hacia un problema de práctica, no el evento principal.

5. Los “2 sigma” de Bloom — una afirmación famosa que no sobrevive el escrutinio a su valor nominal

El artículo de Bloom de 1984 reportó que la tutoría individual con técnicas de aprendizaje de dominio produjo, en promedio, dos desviaciones estándar de ganancia sobre la instrucción convencional en aula — el estudiante tutorado promedio puntuando por encima del 98% de los controles [4]. Esta es la cifra más invocada para justificar productos de “tutor de IA”, y merece tres salvedades. Primero, provino de dos tesis pequeñas de estudiantes de posgrado (Anania; Burke), nunca replicadas de forma independiente a esa escala [4]. Segundo, el meta-análisis moderno mucho más grande de tutoría K-12 en el mundo real (Nickow, Oreopoulos & Quan, 2020, NBER WP 27476) encuentra un efecto agrupado de +0.37 DE — más de cinco veces menor — con efectos globales similares para lectura y matemáticas (lectura más fuerte al inicio, matemáticas más fuerte en grados posteriores), y los tutores maestros/paraprofesionales superando a voluntarios y padres [3]. Tercero, la literatura de sistemas de tutoría (VanLehn, 2011) sitúa la tutoría humana experta individual creíble más cerca de 0.7-1.0 DE, no de 2.0 — grande, pero no “2 sigma”. Cualquier afirmación sobre un tutor de IA debería citar el rango de 0.3-0.4 DE que respalda la evidencia meta-analítica actual, no la cifra de Bloom, hasta que tengamos nuestro propio efecto medido.

6. Instrucción parasocial liderada por personajes para niños: real, pero ganada durante años con un equipo de currículo fijo

Sesame Street es el caso mejor documentado. El “Recontact Study” de 1994 siguió a espectadores preescolares hasta la adolescencia y encontró, controlando factores de confusión, mejores calificaciones en inglés/matemáticas/ciencias, más lectura por placer y menor agresión entre los ex-espectadores — más fuerte en los niños [9]. Una evaluación de 1995 de la Universidad de Kansas encontró que los niños desfavorecidos aprendían tanto por hora de visualización como los niños favorecidos, aunque veían menos en total [9]. Las evaluaciones de ETS (1970-71) encontraron que los espectadores regulares de 3 años superaban a los no espectadores de 5 años en reconocimiento de letras [9]. Kearney & Levine (2019, American Economic Review), usando el despliegue escalonado de la señal de transmisión del programa en 1969 como experimento natural, encontraron que los niños expuestos tenían 14% más probabilidad de estar en el nivel apropiado para su grado en secundaria/preparatoria, con mejores resultados de empleo/salario en la adultez [9][10]. Estos resultados reflejan décadas de colaboración entre currículo e investigación (el modelo del Children’s Television Workshop), no el personaje por sí solo — el personaje es el vehículo de entrega de un currículo validado por investigación, no un sustituto de uno.

7. El aprendizaje remoto de la era COVID: un caso de estudio de advertencia, no una validación

El análisis de Kuhfeld, Soland & Lewis de 5.4 millones de estudiantes de EE.UU. en grados 3-8 encontró puntuaciones de matemáticas de otoño de 2021 entre 0.20-0.27 DE por debajo de sus pares del mismo grado en otoño de 2019, con pérdidas menores en lectura (0.09-0.18 DE); las brechas de rendimiento basadas en pobreza se ampliaron otros 0.10-0.20 DE, concentradas en 2020-21 [12]. Por separado, investigación con datos a nivel de distrito (p. ej., Goldhaber et al., AERA Open, 2022) encontró que las pérdidas fueron mayores donde el tiempo de instrucción remota/híbrida fue mayor en relación con el tiempo presencial — la cantidad de tiempo remoto siguió el tamaño de la pérdida. Las matemáticas sufrieron más en los entornos menos supervisados, y los estudiantes desfavorecidos sufrieron desproporcionadamente. Esta es una advertencia directa para una aplicación de matemáticas autorregulada y sin supervisión para niños: las matemáticas específicamente se degradan sin estructura y supervisión cuando se entregan de forma remota a menores.

Tabla de tamaños de efecto

Intervención / comparación	Tamaño de efecto	Fuente	Aplicabilidad para nosotros
Instrucción puramente en línea vs. presencial	+0.05 (n.s., p=.46)	Means et al. 2010, meta-análisis del DOE [1]	Alta — el análogo más cercano a una aplicación autorregulada sin supervisión; no declarar superioridad por el medio solo
Instrucción combinada vs. presencial	+0.35 (p<.001)	Means et al. 2010 [1]	Media — la ventaja está ligada a tiempo/materiales añadidos, no a estar “en línea”
Instrucción en línea dirigida por instructor	+0.39 (significativo)	Means et al. 2010 [1]	Alta — aboga por guía estructurada, no por exploración libre
Aprendizaje en línea independiente/autodirigido	+0.05 (no significativo)	Means et al. 2010 [1]	Alta — esta es la condición a la que más nos acercamos por defecto
Instrucción en línea colaborativa	+0.25 (significativo)	Means et al. 2010 [1]	Media — relevante solo si añadimos funciones sociales/de pares
Currículo/pedagogía idénticos entre condiciones	+0.13 vs. +0.40 cuando las condiciones difieren	Means et al. 2010 [1]	Alta — la mayor parte del efecto “en línea funciona” es en realidad “más contenido/tiempo funciona”
Efecto agrupado de programas de tutoría (todas las modalidades, K-12)	+0.37 DE	Nickow, Oreopoulos & Quan 2020, NBER [3]	Alta — la línea base moderna creíble para cualquier afirmación de “tutor de IA”
Tutoría individual de dominio de Bloom vs. aula (1984, pequeño/no replicado)	~+2.0 DE	Bloom 1984 [4]	Baja — histórica, disputada, no citar como expectativa
Tutoría humana experta vs. sin tutoría (estimación contemporánea)	~+0.7-1.0 DE	línea de investigación de VanLehn 2011 [5]	Media — techo de lo que la tutoría humana en vivo puede lograr hoy de forma plausible
Práctica (“hacer”) vs. leer/mirar, beneficio de aprendizaje por unidad	~6x	Koedinger et al. 2015, “efecto de hacer” [6]	Muy alta — la cifra individual más accionable para el diseño de sesiones
Tasa de finalización de MOOC, plataformas de élite, 2012	~22% promedio	datos de HarvardX/MITx [8]	Media — replantea cómo debería medirse el “éxito”
Pérdida de rendimiento en matemáticas, otoño 2021 vs. otoño 2019 (grados 3-8)	−0.20 a −0.27 DE	Kuhfeld, Soland & Lewis 2022 [12]	Alta — cuantifica el riesgo de la instrucción remota de matemáticas sin supervisión
Pérdida de rendimiento en lectura, mismo período	−0.09 a −0.18 DE	Kuhfeld, Soland & Lewis 2022 [12]	Media — las matemáticas son la materia más frágil, nuestra materia
Crecimiento de la brecha de rendimiento basada en pobreza, mismo período	+0.10 a +0.20 DE más amplia	Kuhfeld, Soland & Lewis 2022 [12]	Alta — riesgo de equidad de la entrega solo autorregulada
Espectadores de Sesame Street, nivel apropiado para su grado en la adolescencia	+14 puntos porcentuales	Kearney & Levine 2019 [10]	Media — resultado de largo horizonte del contenido liderado por personajes, requiere años de rigor curricular para ganarse

Implicaciones de diseño

1. Hacer debe dominar el tiempo de pantalla — un objetivo razonable es 80%+ del tiempo de sesión resolviendo problemas, no mirando/leyendo, dado el efecto de hacer de ~6x [6] y el hallazgo del DOE de que lo activo le gana a lo expositivo [1].
2. Limitar cualquier video/animación explicativa a muy por debajo de 6 minutos — la atención se estanca a los 6 minutos sin importar la duración, y el contenido de ejemplos resueltos solo se ve realmente durante 2-3 minutos [2].
3. Omitir el pulido de producción. El costoso curso de estudio de TV fue menos atractivo que un talking head informal [2]; gastar el presupuesto en diseño instruccional, no en un estudio.
4. Si usamos un personaje tutor, mostrar una cara, no solo diapositivas — 46% vs. 33% de atención posterior al video para talking head vs. diapositivas [2], consistente con los principios de personalización/voz de Mayer [11].
5. Aplicar los principios de Mayer a cualquier interfaz de diálogo/explicación del tutor: tono conversacional, voz natural, decoración mínima, sin duplicación literal entre texto en pantalla y narración, trozos pequeños al ritmo del estudiante, resaltado visual de lo que importa [11].
6. Ingeniar lo que le falta a la cifra de “aprendizaje independiente” de +0.05 [1]: secuenciación que imite la dirección del instructor (+0.39), y bucles de retroalimentación — presentar contenido y dejar que el estudiante haga clic hasta el final no producirá, por sí solo, un efecto real.
7. Construir avisos de autoexplicación/reflexión (p. ej., “¿por qué estuvo mal eso?”, una verificación de confianza antes de revelar) — la reflexión/automonitoreo del estudiante es una de las dos únicas variables a nivel de práctica que el meta-análisis del DOE encontró que importan [1].
8. No esperar que funciones sociales/grupales genéricas eleven el aprendizaje por sí solas. La guía grupal cambió cómo interactuaban los grupos en línea, no cuánto aprendieron [1]; cualquier función multijugador necesita su propia justificación medida.
9. Ser honestos de que la evidencia K-12 es escasa. El DOE tenía solo 7 contrastes K-12 y advirtió contra generalizar desde estudios con adultos [1]; la evidencia de video y tutoría es igualmente mayormente de adultos/edades mixtas [2][3]. Las decisiones para niños necesitan nuestros propios datos instrumentados.
10. Tratar las matemáticas como la materia más frágil en entornos sin supervisión, no como la más segura — las pérdidas de matemáticas por COVID (−0.20 a −0.27 DE) superaron a las de lectura (−0.09 a −0.18 DE), peor en entornos más remotos y más desfavorecidos [12]. Esto aboga por estructura activa y monitoreo, no por “cualquier práctica de matemáticas en línea está bien”.
11. Sustentar cualquier afirmación de marketing sobre resultados en el rango de tutoría de 0.3-0.4 DE [3], nunca en los “2 sigma de Bloom” [4] — el techo moderno creíble para la tutoría humana experta es ~0.7-1.0 DE [5], no 2.0, hasta que tengamos nuestro propio efecto medido.
12. Retirar ”% que completa todo el currículo” como métrica principal. La mayoría de los que no completan un MOOC nunca pretendieron terminar [8]; rastrear en cambio la ganancia de dominio entre sesiones comprometidas y la tasa de regreso/re-compromiso, vigilando específicamente el abandono temprano en la sesión.
13. Considerar un mecanismo de compromiso deliberado (racha, reporte visible para padres, una puntuación diagnóstica que mejorar) — los estudiantes de MOOC que pagaban completaban a tasas mucho más altas que los gratuitos [8], un efecto de lo que está en juego, no un efecto de contenido.
14. Un personaje/mascota persistente es una inversión curricular de varios años, no un activo de una sola vez — los resultados de Sesame Street vinieron de décadas de investigación curricular emparejada con el personaje [9][10]; una mascota sin ese rigor subyacente no los reproducirá.
15. Medir si la aplicación enseña algo con pre/post + retención diferida, no con un cuestionario inmediato posterior a la lección (que mide memoria de trabajo, no aprendizaje): ítems reservados, una verificación de retención días a semanas después, y un control o despliegue escalonado donde sea factible [1].
16. Rastrear “minutos de resolución de problemas realmente intentada” como la métrica interna principal — la dosis de hacer, no la exposición al contenido, es lo que la literatura de tamaños de efecto recompensa de forma consistente [1][3][6].

Preguntas abiertas para el dueño del proyecto

1. ¿Comprometemos esfuerzo de ingeniería ahora para empujar el producto hacia el nivel de evidencia “dirigido por instructor” (+0.39), dado que el uso autorregulado sin estructura se ubica en el nivel más débil (+0.05, n.s.)?
2. ¿Qué mecanismo de compromiso/de puesta en juego (racha, reporte visible para padres, re-evaluación diagnóstica) estamos dispuestos a construir, dado que lo que está en juego predijo fuertemente la finalización de MOOC?
3. ¿Queremos un personaje tutor persistente, dado que la efectividad a nivel Sesame Street requirió décadas de investigación curricular emparejada — está nuestro equipo de currículo dotado para eso, o deberíamos usar una voz de interfaz más sencilla?
4. ¿Qué afirmación de resultados, si alguna, hará marketing, y podemos comprometernos a sustentarla en el rango de tutoría de ~0.3-0.4 DE en lugar de los “2 sigma de Bloom”?
5. ¿Correremos nuestro propio estudio pre/post + retención diferida antes de hacer cualquier afirmación de resultados de aprendizaje, y en qué plazo?
6. Dadas las mayores pérdidas de matemáticas vs. lectura en la era COVID, ¿el uso sin supervisión por niños pequeños debería requerir un paso de configuración por parte del padre/tutor o un mensaje explícito de “necesita supervisión”?
7. ¿Todo video/explicación animada debería tener un límite duro de duración (p. ej., 3 minutos) como política de diseño?