Adaptive Placement Testing and Computerized Adaptive Testing (CAT): IRT, Cold-Start Calibration, and Knowledge Spaces

Ergebnisse

1. IRT‑Grundlagen — drei verschachtelte Modelle, eines realistisch für Cold‑Start

p(θ) = c + (1-c)·σ(a(θ-d)) gibt die Korrektheitswahrscheinlichkeit aus Fähigkeit θ und Item‑Parametern Schwierigkeit d, Diskriminierung a, Raten c [1][4]. Fixiert man c=0, a=1, erhält man 1PL/Rasch — die Schwierigkeit ist der einzige freie Item‑Parameter, und seine Suffizienz‑Statistik‑Eigenschaft erlaubt die Schätzung der Item‑Schwierigkeit mittels bedingter ML‑Schätzung, ohne die Fähigkeit vorher zu kennen [2]. 2PL lässt a frei: höhere Diskriminierung bedeutet, dass ein Item Testteilnehmer knapp unter‑ bzw. knapp über‑Schwierigkeit sauberer trennt [1]. 3PL fügt das Raten c hinzu, geeignet für Multiple‑Choice‑Items (≈0,25‑Untergrenze bei vier Optionen) [1]. Beide benötigen deutlich mehr Daten pro Item als Rasch — der Literatur‑Standard sind „Hunderte“ von Antworten [1][4].

2. CAT‑Mechanik — Auswahl, Schätzung, Stopp‑Kriterien, Exposition

Der Ablauf: Schätze θ aus den bisherigen Antworten; wähle das noch nicht genutzte Item, das die Fisher‑Information bei diesem θ maximiert; administriere; aktualisiere; wiederhole [3]. MLE ist asymptotisch unverzerrt, aber für perfekte/null‑Antwortmuster nicht definiert; Bayesianische EAP/MAP löst das mittels eines Priors zulasten einer leichten Verzerrung [3]. Stopp‑Regeln: Standardfehler‑Schwelle (variable Länge), feste Item‑Anzahl oder Klassifikations‑Konfidenz‑Schwelle für Bestehen/Nicht‑Bestehen‑Entscheidungen [3]. Sympson‑Hetter zieht für jedes Kandidaten‑Item eine Zufallszahl gegen einen itemspezifischen Expositions‑Parameter, um probabilistisch selbst das beste Item zu blockieren [3][12]. Randomesque wählt gleichmäßig aus den top 5‑10 informativsten Items [3]. Vergleichende Studien (Ozturk & Dogan 2015; Leroux et al. 2013, 2016) testen diese gegen neuere „progressive‑restricted standard error“-Methoden auf 3PL/GPC‑Modellen und finden im Allgemeinen Präzisions‑/Expositions‑Abwägungen statt eines klaren Gewinners [12][13][14]. Duolingos 2026 S2A3‑Paper ersetzt das Blockieren durch Thompson Sampling und behandelt Expositions‑Limits als stochastische Nebenbedingungen innerhalb der Item‑Auswahl [5]. Content balancing ist die orthogonale Einschränkung, dass die Auswahl auch eine Ziel‑Inhalts‑Mischung treffen muss, nicht nur die Information zu maximieren [3].

3. Das Cold‑Start‑Problem, benannt und gelöst durch ein Live‑Produktionssystem

Duolingos AutoIRT‑Paper benennt exakt die Situation von Math Challenge: cold‑start (neues Item, keine Antworten, nur aus Inhalts‑Features kalibriert), jump‑start (kleine Pilot‑Stichprobe gemischt mit dem operativen Pool), warm‑start (Rekalibrierung, wenn Population/UI/Übungsmaterialien sich verschieben) [4]. Ihre Lösung: ein AutoML‑Ensemble (Random Forests, LightGBM, XGBoost, CatBoost), trainiert auf Item‑Inhalts‑Features, projiziert auf interpretierbare IRT‑Parameter mittels Monte‑Carlo‑EM, wodurch die Notwendigkeit von Hunderten Live‑Antworten entfällt, bevor ein Item nutzbar ist [4]. Das zeigt, dass eine vorläufige, feature‑/experten‑abgeleitete Schwierigkeit ein professioneller Ausgangspunkt mit einem realen Upgrade‑Pfad ist, kein Shortcut.

Die alternative, mit kleinem Team kompatible Lösung ist Elo‑basierte Online‑Kalibrierung: Sowohl AutoIRT als auch die breitere Literatur verweisen auf Elo als langjähriges Online‑Verfahren für das Rasch‑Modell, das Personen‑ und Item‑Ratings nach jeder Antwort aktualisiert, ohne einen Offline‑Fit‑Schritt [4][9]. Ein EDM‑Paper von 2019 (Abdi, Khosravi, Sadiq & Gasevic) erweitert das einstige Elo‑Modell auf eine multivariate Form für multi‑tagged Items und berichtet verbesserte prädiktive Genauigkeit [10]. Thema 13 der eigenen Forschung dieses Projekts empfiehlt bereits Elo/Math Garden’s HSHS‑Regel als konkretes Präzedenzbeispiel: O(1)‑Updates (gut geeignet für Durable Objects), validiert im arithmetischen Lernen von Kindern [9]. Ein dritter, späterer Pfad: BOBCAT (Ghosh & Lan, 2021) formuliert die Item‑Auswahl selbst als bilevel‑Optimierung statt reiner Fisher‑Information — ein plausibles v2/v3‑Upgrade, sobald genügend protokollierte Daten vorhanden sind, um es zu trainieren [11].

4. ALEKS und Knowledge Space Theory — ein Graph, keine Skala

ALEKS entstand 1994 an der UC Irvine (NSF‑gefördert) und wurde 2013 von McGraw‑Hill übernommen [8]. Knowledge Space Theory (Doignon & Falmagne) modelliert ein Fachgebiet als Konzeptmenge Q; der Zustand eines Lernenden ist eine machbare Teilmenge, beschränkt durch Voraussetzungen, nicht jede Teilmenge von Q [7]. Das definiert eine partielle Ordnung über machbare Zustände. Der outer fringe ist das, was der Lernende als Nächstes lernen kann (Voraussetzungen erfüllt); der inner fringe ist das, was gerade erworben wurde [7]. ALEKS’ Assessment reduziert, welcher machbare Zustand ein Lernender einnimmt, und empfiehlt dann den outer fringe — einen personalisierten Pfad durch einen Voraussetzungen‑Graphen, nicht einen Perzentil‑Score [7][8]. Dies ist das Referenzdesign für eine Skill‑Tree‑UI, wobei IRT/Elo die innerhalb‑Knoten Schwierigkeit ordnet.

5. Duolingo English Test — das am konkretesten dokumentierte CAT im Ed‑Tech

In der untersuchten DET‑Version (V8) läuft jede Sitzung 18 Ja/Nein‑Wortschatz‑Items (je 5 Sekunden, Bewertung von echten vs. algorithmisch erzeugten Fake‑Wörtern) und 9 Vokabel‑im‑Kontext‑Items (je 20 Sekunden, Lückentext) — 27 Items für zwei von 14 Gesamttask‑Typen, gezogen aus Pools von 3.290 bzw. 585 Items [4]. θ liegt auf einer kontinuierlichen Normal(null, eins)‑Prior‑Skala, wobei der gemeldete Score der Posterior‑Mittelwert ist, berechnet aus dem vollen Posterior während der Kalibrierung, nicht ein Punktschätzer [4]. Duolingo hat zudem speziell zu Responsible AI für diesen Test publiziert und Qualität/Gerechtigkeit als fortlaufende Validitäts‑Argumentations‑Kette (Domänendefinition → Evaluation → Generalisierung → Erklärung → Extrapolation → Nutzung) gerahmt — ein nützliches Checklisten‑Modell, selbst außerhalb hoch‑stakes Zulassungs‑Tests [6].

6. NWEA, i‑Ready, Khan Academy, IXL — spärlichere öffentliche Details

NWEAs MAP Growth berichtet über eine proprietäre RIT‑Skala („Rasch unIT“), klassenunabhängig und kontinuierlich; NWEAs Forschungs‑Center veröffentlicht Item‑Parameter‑Drift‑ und Validierungsstudien, die eine IRT/Rasch‑Grundlage voraussetzen, aber der genaue Item‑Auswahl‑Algorithmus wurde auf öffentlichen Seiten, die in dieser Recherche erreichbar waren, nicht gefunden [15]. Khan Academys eigene Materialien beschreiben mastery learning als das pädagogische Modell, aber die „Course challenge“‑Platzierungs‑Mechanik ist in öffentlich zugänglichen Seiten nicht detailliert [16]. IXLs Produktseite sagt schlicht, dass „die Schwierigkeit der Fragen sich automatisch anpasst“, was ein CAT‑ähnliches Verhalten bestätigt, ohne Skala, Item‑Anzahl oder Auswahl‑Regel zu veröffentlichen [17]. i‑Readys technisches Handbuch war in dieser Sitzung nicht abrufbar; es wird keine spezifische Behauptung darüber gemacht, außer seiner Existenz als adaptives Diagnose‑Tool. Diese Lücke ist selbst ein Befund: Die Duolingo‑ und ALEKS/akademische Literatur sind die nutzbaren Blaupausen für v1; die K‑12‑Diagnostik‑Anbieter behandeln ihre Interna als Geschäftsgeheimnisse.

7. Wie viele Items, und pro Thema vs. global

Es gibt kein universelles Minimum, aber zwei Datenpunkte begrenzen den Bereich. Fest‑Längen‑High‑Stakes‑CATs laufen typischerweise bis zu mehreren Dutzend Items für ein enges Standardfehler‑Ziel [3]. Eine 2024‑Studie, die kurze CATs für das Force Concept Inventory verknüpft, fand, dass wiederholte 5‑Item‑adaptive Durchführungen (9‑mal über ein Semester) eine Effizienz „vergleichbar mit der der Pre‑Post‑Methode“ für die Verfolgung von Veränderungen erreichten — kontextspezifisch (wiederholte formativen Messungen, nicht ein‑malige Platzierung), aber Evidenz, dass kurz‑und‑wiederholt langen‑und‑einmaligen ersetzen kann [18]. Das begünstigt per‑Thema‑Platzierung (10‑15 Items pro Zweig, passend zum Projekt‑Brief) gegenüber einem langen globalen Test: ein Kind kann gleichzeitig bei „Arithmetik der 3. Klasse“ und „Geometrie im Kindergarten“ platziert werden, was ein einziger globaler Score nicht darstellen kann, aber ein per‑Thema‑CAT und ALEKS’ Knowledge‑Space‑Modell beide können [7].

8. Kein Testgefühl für ein 6‑jähriges Kind

Keine Quelle, die hier geprüft wurde, behandelt direkt die UX für Kinder, aber zwei strukturelle Fakten übersetzen sich in Vorgaben. Da CAT jedes Item nahe der tatsächlichen Fähigkeit des Lernenden platziert, erzeugt ein gut implementiertes adaptives Placement von Natur aus ein gemischtes Erfolgs‑Erlebnis statt einer Mauer aus Misserfolgen — der Mechanismus selbst schützt das Gefühl, vorausgesetzt die UI kommentiert nicht zusätzlich (keine sichtbaren Countdown‑Timer oder falsche‑Antwort‑Signalgeber) [3]. Da kurze, per‑Thema‑Platzierung (§7) sowohl begründbar als auch besser an die Aufmerksamkeitsspanne eines Kindes angepasst ist, kann sie als Reihe kurzer thematischer Mini‑Spiele statt einer durchgehenden Prüfung bereitgestellt werden — aufbauend auf dem bereits kinder‑validierten Math Garden‑Precedent aus Thema 13, statt hier den Ton neu zu definieren [9].

Designimplikationen

1. Verwende provisorische Schwierigkeitswerte im Rasch‑Stil (1PL) für v1, nicht 2PL/3PL. Bei null Antworthistorie ist nur ein einzelner Schwierigkeitsparameter pro Item realistisch; Diskriminierung/Rateverhalten benötigen Daten, die v1 nicht hat [1][2][4].
2. Algorithmus: von Experten getaggte Schwierigkeit + Auswahl des nächstgelegenen Schwierigkeitswertes. Markiere jedes Item 1‑100 von Hand. In jedem Schritt wähle das noch nicht genutzte Item, dessen Tag dem aktuellen Fähigkeits‑Schätzwert am nächsten liegt – ein parameterfreier Ersatz für die Auswahl nach maximaler Fisher‑Information [3][4].
3. Fähigkeits‑Update: Elo, nicht MLE/EAP. ability += K * (outcome - expected), expected ist eine logistische Funktion von (ability − item difficulty) und entspricht der Rasch‑Antwortform; O(1) pro Antwort, passt zu einem Durable Object oder einem D1‑Write pro Runde, konsistent mit dem Topic‑13‑Präzedenzfall [1][9].
4. Abnehmendes K innerhalb einer Sitzung. Großes K für die ersten 3‑4 Items (schnelle Konvergenz aus dem altersbasierten Anfangs‑Schätzwert), danach kleineres K (Stabilität) – das innerhalb‑der‑Sitzung‑Analogon zur vorläufigen Elo‑Bewertungsphase im Schach [9].
5. Stopp‑Regel: harte Obergrenze von 15 Items, früher Stopp ab Item 8 bei Stabilität. Beende frühzeitig, wenn die letzten 4 Antworten um dieselbe Stufe (±1) schwanken ohne Netto‑Drift – ein Proxy für „SE ist klein genug“, ohne ein kalibriertes Modell zur Berechnung von SE aus [3].
6. Platzierung pro Thema, nicht ein globaler Score, passend zum Many‑States‑Modell von ALEKS und dem eigenen Skill‑Tree des Projekts [7][8].
7. Alter setzt nur Item 1, danach steuert die Fähigkeits‑Schätzung alles. Die Alterseingabe ist ein Prior, keine Ober‑ oder Untergrenze – 2‑3 Antworten sollten die Schätzung um eine ganze Stufe bewegen können.
8. Protokolliere jede Antwort (Item‑ID, getaggte Schwierigkeit, Ergebnis) ab Tag eins. Das ist exakt die „Jump‑Start“-Daten, die das Duolingo‑Team vor jeder Neukalibrierung benötigt; ohne sie ab dem Start beginnt Implikation 9 zu spät [4].
9. Upgrade‑Pfad: Stapel‑Anpassung der getaggten Schwierigkeiten zu einem echten Rasch‑Modell bei ~200‑400 Antworten/Item, wobei der Experten‑Prior mit dem empirischen Schätzwert kombiniert wird, anstatt ihn zu verwerfen, da das Volumen pro Item ungleichmäßig sein wird [4].
10. 2PL erst, wenn Rasch stabil ist und das Volumen hoch ist („Hundert­er“ von Antworten laut Literatur); 3PL‑Rate‑Parameter komplett weglassen, es sei denn, das Format ist Multiple‑Choice mit festen Optionen, da Rateverhalten sonst nicht identifizierbar ist [1][4].
11. Expositions‑Kontrolle nur, wenn der Traffic den Item‑Pool übersteigt. In v1 einfach vermeiden, ein Item innerhalb einer Sitzung zu wiederholen; füge Sympson‑Hetter‑ähnliches Blockieren oder zufälliges Top‑N erst hinzu, wenn Telemetrie zeigt, dass einige wenige Items die Auswahl dominieren [3][12].
12. UX pro Altersgruppe: Alter ~4‑6 – ein einzelner, charaktergeführter Mini‑Game, keine sichtbare Punktzahl/Timer/„Test“-Sprache, feierliches Feedback unabhängig von der Richtigkeit, endet in einer narrativen Übergangssequenz, nicht einem Ergebnis‑Screen. Alter ~7‑11 – eine „Aufwärm‑Quest“ mit einem Fortschrittsbalken für die Item‑Anzahl (nie ein Richtig‑Balken), leichte Erzählung, immer noch keine numerische Punktzahl angezeigt. Alter ~12‑17 und Erwachsene/Expert*innen – transparente Einbettung („damit wir dich auf dem richtigen Niveau starten können“) ist in Ordnung und oft bevorzugt, aber weiterhin die Formulierung „Bewertung deiner Fähigkeit“ vermeiden; ein gut ausgerichteter adaptiver Test ist tatsächlich näher an geführter Praxis als an Prüfungs‑Abnahme, sobald er korrekt konvergiert, was diese Einbettung für jedes Alter unterstützt [3].
13. Alter ist ein Thema und ein Seed, niemals eine harte Platzierungsgrenze – der gesamte Sinn eines adaptiven Tests laut Brief ist, dass die Fähigkeit, nicht das Alter, das Niveau bestimmt.

Offene Fragen für den Projektinhaber

1. Obligatorische Platzierung vor jeglicher Praxis, oder optional mit einem altersbasierten Standard‑Fallback und einer späteren „Rekalibrierungs“-Aktion?
2. Welcher K‑Plan für das abnehmende‑K‑Elo‑Update – fest (z. B. 1,0 / 0,5 / 0,25) oder nach dem Start empirisch aus den protokollierten Daten abgestimmt?
3. Tagging der Item‑Schwierigkeit durch einen einzelnen Autor, oder ein leichter Multi‑Rater‑Prozess (2‑3 Personen, Meinungsverschiedenheiten klären) bevor Items ausgeliefert werden?
4. Soll jedes Thema eine Obergrenze von 15 Items teilen, oder sollen breite Zweige (z. B. gesamte Arithmetik) eine längere Obergrenze erhalten als enge (z. B. schriftliche Division)?
5. Wenn die Platzierung stark vom angegebenen Alter abweicht (ein 5‑Jähriger wird auf 3. Klasse eingestuft), soll sie deutlich angezeigt, abgeschwächt oder zuerst die Eltern um Bestätigung gebeten werden?
6. Ist periodische Neu‑Platzierung (alle N Wochen oder nach M falschen Antworten auf der aktuellen Stufe) ein v1‑Feature oder eine spätere Ergänzung, sobald die Kernschleife validiert ist?
7. Angesichts der spärlichen öffentlichen Dokumentation von NWEA/i‑Ready/IXL/Khan Academy, besteht Interesse, deren technische Handbücher im Rahmen von Forschungs‑Daten‑Vereinbarungen zu verfolgen, oder reicht die hier vorgestellte Duolingo/ALEKS/akademische Basis vorerst aus?