Lo que la investigación realmente dice sobre la enseñanza por internet

Findings

1. Online vs. face-to-face: equivalent, not superior — unless it’s blended and instructor-directed

El Evaluation of Evidence-Based Practices in Online Learning del Departamento de Educación de EE. UU. (Means, Toyama, Murphy, Bakia & Jones, 2010) analizó 50 tamaños de efecto de estudios controlados o cuasi‑experimentales, 1996‑2008 [1]. Números principales:

• En línea puro vs. presencial: +0,05, p=,46 — estadísticamente equivalente, no mejor.
• Mixto vs. presencial: +0,35, p<,001 — una ventaja real.
• Instrucción en línea dirigida por el instructor: +0,39 (significativo); colaborativa: +0,25 (significativo); aprendizaje independiente/autodirigido en línea: +0,05 (no significativo) [1].
• Cuando el currículo y la pedagogía se mantuvieron idénticos entre condiciones, el efecto fue menor (+0,13) que cuando la condición en línea añadió tiempo o materiales (+0,40) — la ventaja del formato mixto se debe en gran parte a más tiempo y materiales, no al medio [1].
• Sólo 7 de 50 contrastes involucraron a estudiantes de K‑12; el informe advierte explícitamente contra generalizar los resultados de estudios con adultos o educación superior a niños [1].
• Los vídeos y los cuestionarios en línea no mejoraron mediblemente el aprendizaje; los estímulos de reflexión/autogestión y el control del alumno sobre los medios ayudaron a individuos; el andamiaje para grupos cambió los patrones de interacción pero no la cantidad aprendida [1].

El hallazgo clave para un producto autodirigido: el “aprendizaje independiente” — la condición más cercana a una aplicación sin supervisión — es la que muestra un efecto no significativo (+0,05). Los beneficios que los investigadores hallaron provienen de la dirección del instructor, la colaboración o el tiempo/materiales añadidos, ninguno de los cuales una aplicación puramente autodirigida ofrece a menos que se diseñe deliberadamente para ello.

2. MOOCs: low completion is largely the wrong problem to worry about

Las tasas de finalización de los MOOC han sido bajas desde su debut en 2012 — los cursos HarvardX/MITx promediaron aproximadamente 22 % de finalización en su primer año [8]. Una investigación de Stanford identificó cuatro arquetipos de alumnos con intenciones muy distintas: “completadores” (5–27 %), abandonos rápidos “desconectados” (6–29 %), “auditores” que ven pero omiten las evaluaciones (6–9 %) y “muestreros” que nunca pretendían terminar (39–80 %) [8]. El artículo de Reich & Ruipérez‑Valiente en Science “The MOOC Pivot” (2019) sostiene que la tasa de finalización es una métrica de éxito pobre precisamente porque la mayoría de los inscritos nunca pretendían completarlo totalmente, y que los proveedores de MOOC pasaron de una misión fundadora de acceso abierto a atender a profesionales ya titulados que pagan por credenciales — lo contrario del discurso de “democratizar la educación de élite” con el que se lanzó el formato. Un dato concreto: Coursera encontró que los alumnos que pagaron 30–90 $ completaron a tasas mucho más altas que los que tomaron el curso gratis [8] — un efecto de dispositivo de compromiso, no de contenido.

La implicación: dejar de medir el éxito como “% que completan todo el currículo” y, en su lugar, seguir la maestría comprometida entre los usuarios que regresan y lo que predice nuevas visitas.

3. Educational video: short, personal, and beats high production value

El estudio de Guo, Kim & Rubin en edX (2014) analizó 6,9 millones de sesiones de visualización de vídeo en cuatro MOOC [2]:

• El tiempo medio de compromiso es como máximo 6 minutos sin importar la duración total del vídeo; los espectadores de vídeos de más de 9 minutos normalmente no llegan a la mitad [2].
• Las tasas de intento de ejercicios tras el vídeo disminuyen progresivamente con la longitud: 56 %, 48 %, 43 %, 41 %, 31 % en los cinco intervalos de duración (0‑3 a 12‑40 minutos) [2].
• Los vídeos informales de “cabeza hablante” superan a los de solo diapositivas o screencasts de código (tasa de intento 46 % vs. 33 % en un curso) [2].
• El dibujo estilo Khan en tablet supera a las diapositivas/tutoriales de código (tasa 40 % vs. 31 %) [2].
• El alto valor de producción no ayudó. Un curso de gran presupuesto filmado en estudio de TV (PH207x) obtuvo menos compromiso que un curso filmado informalmente en una oficina (factor 6,00x) de estilo similar — aproximadamente la mitad del tiempo de compromiso a 6‑9 minutos y un tercio a más de 12 minutos [2].
• Ritmos de habla más rápidos y entusiastas superaron la recomendación tradicional de ~160 ppm; el efecto se relacionó con la energía del instructor, no con la velocidad pura — los autores recomiendan entrenar el entusiasmo, no forzar la velocidad [2].
• Los vídeos tutoriales (ejemplos trabajados) se ven solo 2–3 minutos de media independientemente de la longitud [2].

Esto concuerda con la teoría cognitiva del aprendizaje multimedia de Mayer (Mayer, Multimedia Learning, 2.ª ed., 2009): personalización (registro conversacional supera al formal), voz (una voz natural supera a una plana), coherencia (eliminar decoraciones que compiten por la memoria de trabajo), redundancia (no narrar el texto en pantalla literalmente), segmentación (trozos pequeños a ritmo del alumno), señalización (destacar lo importante). Estos principios, derivados independientemente, coinciden con lo que Guo et al. hallaron a partir de los datos de click‑stream: corto, personal y bien segmentado supera a largo, pulido y pasivo [2][11].

4. Doing beats watching, by a wide margin — the doer effect

El análisis de Koedinger, Kim, Jia, MacLaren & Bier (2015) de un MOOC de Open Learning Initiative (“Learning is Not a Spectator Sport: Doing is Better than Watching”) mostró que la cantidad de práctica que realiza un estudiante predice su rendimiento posterior mucho mejor que la cantidad de lectura o visualización, manteniendo constantes los demás factores [6]. La cifra citada con frecuencia de esta línea de trabajo: la práctica aporta aproximadamente seis veces el beneficio de aprendizaje estimado de la lectura/visualización por unidad de tiempo de estudio. Esto coincide con el hallazgo del DOE de que el aprendizaje activo/interactivo supera a la entrega expositiva [1] y con el hallazgo de edX de que la mayoría de los espectadores nunca terminan un vídeo más allá de unos pocos minutos [2]. En conjunto: el vídeo y la lectura son, como máximo, una breve introducción a un ejercicio práctico, no el evento principal.

5. Bloom’s “2 sigma” — a famous claim that does not survive scrutiny at face value

El artículo de Bloom de 1984 informó que la tutoría individual con técnicas de aprendizaje maestro producía, en promedio, una ganancia de dos desviaciones estándar sobre la instrucción convencional en aula — el estudiante tutorizado promedio superaba al 98 % de los controles [4]. Este número se invoca con frecuencia para justificar productos de “tutor IA”, y merece tres advertencias. Primero, proviene de dos pequeñas tesis de estudiantes de posgrado (Anania; Burke), nunca replicadas independientemente a esa escala [4]. Segundo, el meta‑análisis mucho mayor de tutoría real en K‑12 (Nickow, Oreopoulos & Quan, 2020, NBER WP 27476) encuentra un efecto combinado de +0,37 DE — más de cinco veces menor — con efectos similares en lectura y matemáticas (lectura más fuerte en etapas tempranas, matemáticas más fuerte en grados posteriores), y tutores docentes/paraprofesionales superando a voluntarios y padres [3]. Tercero, la literatura sobre sistemas de tutoría (VanLehn, 2011) sitúa la tutoría humana experta individual entre 0,7‑1,0 DE, no 2,0 — grande, pero no “2 sigma”. Cualquier afirmación sobre un tutor IA debe citar el rango de 0,3‑0,4 DE que respalda la evidencia meta‑analítica actual, no la cifra de Bloom, hasta que dispongamos de nuestro propio efecto medido.

6. Parasocial, character-led instruction for children: real, but earned over years with a fixed curriculum team

Sesame Street es el caso mejor documentado. El “Recontact Study” de 1994 siguió a los espectadores de educación infantil hasta la adolescencia y encontró, controlando por variables confusas, notas más altas en inglés, matemáticas y ciencias, mayor lectura por placer y menor agresión entre los antiguos espectadores — más pronunciado en niños masculinos [9]. Una evaluación de la Universidad de Kansas de 1995 halló que los niños desfavorecidos aprendían tanto por hora de visualización como los niños favorecidos, aunque veían menos en total [9]. Evaluaciones del ETS (1970‑71) mostraron que los niños de 3 años que veían regularmente superaban a los de 5 años que no veían en reconocimiento de letras [9]. Kearney & Levine (2019, American Economic Review), usando el despliegue escalonado de la señal de emisión de 1969 como experimento natural, hallaron que los niños expuestos tenían 14 % más probabilidades de estar en el nivel adecuado para su curso en educación secundaria, con mejores resultados de empleo y salarios en la edad adulta [9][10]. Estos resultados reflejan décadas de colaboración entre currículo e investigación (modelo del Children’s Television Workshop), no solo al personaje — el personaje es el vehículo de entrega de un currículo validado por la investigación, no un sustituto del mismo.

7. Aprendizaje remoto en la era COVID: un estudio de caso de advertencia, no una validación

Kuhfeld, Soland & Lewis analizaron a 5,4 millones de estudiantes estadounidenses de 3.º a 8.º y hallaron que las puntuaciones de matemáticas del otoño de 2021 estaban entre 0,20 y 0,27 DE por debajo de sus compañeros del mismo curso en otoño de 2019, con pérdidas menores en lectura (0,09‑0,18 DE); las brechas de rendimiento basadas en la pobreza se ampliaron entre 0,10 y 0,20 DE, concentradas en 2020‑21 [12]. Por otro lado, investigaciones con datos a nivel de distrito (p. ej., Goldhaber et al., AERA Open, 2022) mostraron que las pérdidas fueron mayores donde el tiempo de instrucción remota/híbrida era mayor respecto al presencial: la cantidad de tiempo remoto seguía la magnitud de la pérdida. Las matemáticas sufrieron más en los entornos menos supervisados, y los estudiantes desfavorecidos lo hicieron de forma desproporcionada. Esto constituye una advertencia directa para una aplicación de matemáticas autodirigida y sin supervisión para niños: las matemáticas se degradan específicamente sin estructura y supervisión cuando se imparten de forma remota.

Tabla de tamaños del efecto

Intervención / comparación	Tamaño del efecto	Fuente	Aplicabilidad para nosotros
Totalmente en línea vs. instrucción presencial	+0,05 (n.s., p=.46)	Means et al. 2010, meta‑análisis del DOE [1]	Alta — el análogo más cercano a una aplicación autodirigida sin supervisión; no afirmar superioridad solo por el medio
Mixta vs. instrucción presencial	+0,35 (p<.001)	Means et al. 2010 [1]	Media — la ventaja está vinculada al tiempo/materiales añadidos, no a que sea «en línea»
Instrucción en línea dirigida por el instructor	+0,39 (significativo)	Means et al. 2010 [1]	Alta — defiende una guía estructurada, no la exploración libre
Aprendizaje en línea independiente/autodirigido	+0,05 (no significativo)	Means et al. 2010 [1]	Alta — esta es la condición a la que nos acercamos por defecto
Instrucción en línea colaborativa	+0,25 (significativo)	Means et al. 2010 [1]	Media — relevante solo si añadimos funciones sociales/entre pares
Currículo/pedagogía mantenidos idénticos entre condiciones	+0,13 vs. +0,40 cuando las condiciones difieren	Means et al. 2010 [1]	Alta — la mayor parte del efecto de «funciona en línea» es realmente «más contenido/tiempo funciona»
Efecto combinado de programas de tutoría (todas las modalidades, K‑12)	+0,37 DE	Nickow, Oreopoulos & Quan 2020, NBER [3]	Alta — la referencia moderna creíble para cualquier afirmación de «tutor IA»
Tutoría de dominio individual de Bloom vs. aula (1984, muestra pequeña/no replicada)	~+2,0 DE	Bloom 1984 [4]	Baja — histórica, controvertida, no citar como expectativa
Tutoría humana experta vs. sin tutoría (estimación contemporánea)	~+0,7‑1,0 DE	VanLehn 2011 línea de investigación [5]	Media — techo de lo que la tutoría humana en directo puede lograr plausiblemente hoy
Práctica («hacer») vs. lectura/visualización, beneficio de aprendizaje por unidad	~6×	Koedinger et al. 2015, «efecto del hacedor» [6]	Muy alta — el número más accionable para el diseño de sesiones
Tasa de finalización de MOOC, plataformas de élite, 2012	~22 % media	datos de HarvardX/MITx [8]	Media — replantea cómo debe medirse el «éxito»
Pérdida de rendimiento en matemáticas, otoño 2021 vs. otoño 2019 (3.º‑8.º)	−0,20 a −0,27 DE	Kuhfeld, Soland & Lewis 2022 [12]	Alta — cuantifica el riesgo de instrucción remota de matemáticas sin supervisión
Pérdida de rendimiento en lectura, mismo periodo	−0,09 a −0,18 DE	Kuhfeld, Soland & Lewis 2022 [12]	Media — las matemáticas son la materia más frágil, nuestra materia
Ampliación de la brecha de rendimiento basada en la pobreza, mismo periodo	+0,10 a +0,20 DE más amplia	Kuhfeld, Soland & Lewis 2022 [12]	Alta — riesgo de equidad de la entrega solo autodirigida
Espectadores de Sesame Street, nivel de logro acorde con el curso en la adolescencia	+14 puntos porcentuales	Kearney & Levine 2019 [10]	Media — resultado a largo plazo de contenido liderado por personajes, requiere años de rigor curricular para obtenerlo

Implicaciones de diseño

1. Hacer debe dominar el tiempo de pantalla — un objetivo razonable es más del 80 % del tiempo de la sesión resolviendo problemas, no viendo/leyendo, dado el efecto ~6× del hacedor [6] y el hallazgo del DOE de que lo activo supera a lo expositivo [1].
2. Limitar cualquier vídeo/animación explicativa a menos de 6 minutos — el compromiso se estabiliza a los 6 minutos sin importar la duración, y el contenido de ejemplos trabajados solo se ve realmente durante 2‑3 minutos [2].
3. Omitir el pulido de producción. El costoso curso de estudio de televisión fue menos atractivo que una cabeza hablante informal [2]; destinar el presupuesto al diseño instruccional, no a un estudio.
4. Si utilizamos un personaje tutor, mostrar una cara, no solo diapositivas — 46 % frente a 33 % de compromiso posterior al vídeo para cabeza hablante vs. diapositivas [2], coherente con los principios de personalización/voz de Mayer [11].
5. Aplicar los principios de Mayer a cualquier interfaz de diálogo/explicación del tutor: tono conversacional, voz natural, decoración mínima, sin duplicación literal en pantalla/narración, fragmentos pequeños al ritmo del alumno, resaltado visual de lo importante [11].
6. Incorporar lo que falta al número +0,05 de «aprendizaje independiente» [1]: una secuenciación que imite la dirección del instructor (+0,39) y bucles de retroalimentación — presentar contenido y permitir que el alumno haga clic no producirá, por sí solo, un efecto real.
7. Crear indicaciones de autoexplicación/ reflexión (p. ej., «¿por qué estaba mal?», una comprobación de confianza antes de revelar) — la reflexión y auto‑monitorización del alumno es una de solo dos variables a nivel de práctica que la meta‑análisis del DOE encontró relevantes [1].
8. No esperar que funciones sociales/grupales genéricas mejoren el aprendizaje por sí solas. La guía grupal cambió cómo interactuaban los grupos en línea, no cuánto aprendían [1]; cualquier función multijugador necesita su propia justificación medida.
9. Ser honestos con la escasez de evidencia K‑12. El DOE sólo contó con 7 contrastes K‑12 y advirtió contra generalizar a partir de estudios de adultos [1]; la evidencia de vídeo y tutoría es igualmente mayormente de adultos/edades mixtas [2][3]. Las decisiones para niños requieren nuestros propios datos instrumentados.
10. Tratar las matemáticas como la materia más frágil en entornos sin supervisión, no la más segura — las pérdidas de matemáticas por COVID (−0,20 a −0,27 DE) superaron a las de lectura (−0,09 a −0,18 DE), empeorando en entornos más remotos y más desfavorecidos [12]. Esto defiende una estructura activa y monitorización, no «cualquier práctica de matemáticas en línea está bien».
11. Fundamentar cualquier afirmación de marketing de resultados en el rango de tutoría de 0,3‑0,4 DE [3], nunca en el «2 sigma de Bloom» [4] — el techo moderno creíble para la tutoría humana experta es ~0,7‑1,0 DE [5], no 2,0, hasta que dispongamos de nuestro propio efecto medido.
12. Eliminar «% que completan todo el currículo» como métrica principal. La mayoría de los que no completan un MOOC nunca pretendieron terminar [8]; en su lugar, seguir el progreso de dominio entre sesiones comprometidas y la tasa de retorno/re‑engagement, vigilando específicamente la caída temprana de sesiones.
13. Considerar un mecanismo deliberado de compromiso (racha, informe visible para los padres, una puntuación diagnóstica a mejorar) — los alumnos de MOOC de pago completaron a tasas mucho más altas que los gratuitos [8], un efecto de incentivos, no de contenido.
14. Un personaje/mascota persistente es una inversión curricular plurianual, no un activo puntual — los resultados de Sesame Street provienen de décadas de investigación curricular asociada al personaje [9][10]; una mascota sin ese rigor subyacente no los reproducirá.
15. Medir si la aplicación enseña algo con pre/post + retención diferida, no con un cuestionario inmediato al final de la lección (que mide la memoria de trabajo, no el aprendizaje): ítems retenidos, una comprobación de retención días‑semanas después, y un control o despliegue escalonado cuando sea factible [1].
16. Seguir los «minutos de resolución real de problemas intentados» como métrica interna principal — la dosis de hacer, no la exposición al contenido, es lo que la literatura de tamaños del efecto recompensa consistentemente [1][3][6].

Preguntas abiertas para el responsable del proyecto

1. ¿Nos comprometemos ahora a dedicar esfuerzo de ingeniería para impulsar el producto hacia el nivel de evidencia «instructor-directed» (+0,39), dado que el uso autodirigido no estructurado se sitúa en el nivel más débil (+0,05, n.s.)?
2. ¿Qué mecanismo de compromiso/apuesta (racha, informe visible para los padres, re‑test diagnóstico) estamos dispuestos a desarrollar, dado que las apuestas predijeron fuertemente la finalización del MOOC?
3. ¿Queremos un personaje tutor persistente, considerando que la efectividad a nivel de Sesame Street requirió décadas de investigación curricular conjunta — está nuestro equipo curricular dotado de recursos para ello, o deberíamos emplear una voz de interfaz de usuario más sencilla?
4. ¿Qué afirmación de resultado, si es que hay alguna, hará el departamento de marketing, y podemos comprometernos a basarla en el rango de tutoría de ~0,3-0,4 DE en lugar de «Bloom’s 2 sigma»?
5. ¿Realizaremos nuestro propio estudio pre/post + retención diferida antes de formular cualquier afirmación sobre resultados de aprendizaje, y en qué plazo?
6. Dado que las pérdidas en matemáticas durante la era COVID fueron mayores que en lectura, ¿debería el uso no supervisado por niños pequeños requerir un paso de configuración por parte de un padre o tutor o un mensaje explícito de «needs supervision»?
7. ¿Debería limitarse cualquier explicación en vídeo o animación a una duración máxima estricta (p. ej., 3 minutos) como política de diseño?