Testes adaptativos de colocação e testagem adaptativa computorizada (CAT): IRT, calibração de arranque a frio e espaços de conhecimento

Constatações

1. IRT basics — three nested models, one realistic for cold start

p(θ) = c + (1-c)·σ(a(θ-d)) fornece a probabilidade de correção a partir da capacidade θ e dos parâmetros do item dificuldade d, discriminação a, adivinhação c [1][4]. Fixar c=0, a=1 gera 1PL/Rasch — a dificuldade é o único parâmetro livre do item, e a sua propriedade de estatística suficiente permite estimar a dificuldade do item por MLE condicional sem conhecer a capacidade primeiro [2]. 2PL liberta a: maior discriminação significa que um item separa mais claramente os testadores ligeiramente abaixo da dificuldade daqueles ligeiramente acima [1]. 3PL acrescenta a adivinhação c, apropriado para itens de escolha múltipla (≈0,25 de piso em quatro opções) [1]. Ambos exigem dados por item substancialmente maiores que o Rasch — o padrão na literatura é “centenas” de respostas [1][4].

2. CAT mechanics — selection, estimation, stopping, exposure

O ciclo: estimar θ a partir das respostas até agora; escolher o item não usado que maximiza a informação de Fisher naquele θ; administrar; atualizar; repetir [3]. O MLE é assintoticamente não‑viciado, mas indefinido para padrões de resposta perfeitos ou nulos; o Bayesiano EAP/MAP resolve isto através de um prior ao custo de um pequeno viés [3]. Regras de paragem: limiar de erro‑padrão (comprimento variável), contagem fixa de itens, ou limiar de confiança de classificação para decisões de aprovação/reprovação [3]. Sympson‑Hetter gera um número aleatório por item candidato contra um parâmetro de exposição específico ao item para bloquear probabilisticamente até o melhor item [3][12]. Randomesque seleciona uniformemente entre os 5‑10 itens mais informativos [3]. Estudos comparativos (Ozturk & Dogan 2015; Leroux et al. 2013, 2016) testam estes contra métodos mais recentes de “erro‑padrão progressivo‑restrito” em modelos 3PL/GPC, encontrando geralmente trocas entre precisão e exposição em vez de um vencedor claro [12][13][14]. O artigo da Duolingo de 2026 S2A3 substitui o bloqueio por Thompson Sampling, tratando os limites de exposição como restrições estocásticas dentro da seleção de itens [5]. Content balancing é a restrição ortogonal que a seleção também deve cumprir um mix de conteúdo‑alvo, não apenas maximizar a informação [3].

3. The cold-start problem, named and solved by a live production system

O artigo AutoIRT da Duolingo nomeia exatamente a situação do Math Challenge: cold‑start (novo item, sem respostas, calibrado apenas a partir de características de conteúdo), jump‑start (pequena amostra piloto combinada com o banco operacional), warm‑start (recalibração à medida que a população/interface/materiais de preparação mudam) [4]. A solução: um conjunto AutoML (random forests, LightGBM, XGBoost, CatBoost) treinado nas características de conteúdo dos itens, projetado em parâmetros IRT interpretáveis via Monte Carlo EM, evitando a necessidade de centenas de respostas ao vivo antes de um item ser utilizável [4]. Isto demonstra que uma dificuldade provisória derivada de características/experts constitui um ponto de partida profissional com um caminho real de evolução, não um atalho.

A alternativa compatível com uma equipa pequena é a calibração online baseada em Elo: tanto o AutoIRT como a literatura mais ampla apontam o Elo como um procedimento online de longa data para o modelo Rasch, actualizando as classificações de pessoa e de item após cada resposta sem passo de ajuste offline [4][9]. Um artigo EDM de 2019 (Abdi, Khosravi, Sadiq & Gasevic) estende o Elo de conceito único a uma forma multivariada para itens com múltiplas etiquetas, reportando maior precisão preditiva [10]. O tópico 13 da própria investigação deste projeto já recomenda a regra HSHS do Math Garden baseada em Elo como precedente concreto: atualizações O(1) (bom ajuste para Durable Objects), validado em aritmética infantil [9]. Um terceiro caminho, de fase posterior: BOBCAT (Ghosh & Lan, 2021) enquadra a própria seleção de itens como otimização bi‑nível em vez de pura informação de Fisher — uma atualização plausível v2/v3 assim que existam dados registados suficientes para o treinar [11].

4. ALEKS and Knowledge Space Theory — a graph, not a scale

A ALEKS originou‑se na UC Irvine em 1994 (financiada pela NSF), sendo adquirida pela McGraw‑Hill em 2013 [8]. A Knowledge Space Theory (Doignon & Falmagne) modela um domínio como conjunto de conceitos Q; o estado de um aprendiz é um subconjunto factível, limitado por pré‑requisitos, e não qualquer subconjunto de Q [7]. Isto define uma ordem parcial sobre os estados factíveis. A franja externa é o que o aprendiz está pronto a aprender a seguir (pré‑requisitos satisfeitos); a franja interna é o que acabou de adquirir [7]. A avaliação da ALEKS reduz qual estado factível o aprendiz ocupa e, em seguida, recomenda a franja externa — um caminho personalizado através de um grafo de pré‑requisitos, não um escore percentílico [7][8]. Este é o design de referência para uma UI de árvore de competências, com IRT/Elo a gerir a ordenação de dificuldade dentro‑do‑nó.

5. Duolingo English Test — the most concretely documented CAT in ed-tech

Na versão DET estudada (V8), cada sessão executa 18 itens de Vocabulário Sim/Não (5 segundos cada, a julgar palavras reais versus palavras falsas geradas algorítmicamente) e 9 itens de Vocabulário em Contexto (20 segundos cada, preencher o espaço) — 27 itens para dois dos 14 tipos de tarefa totais, extraídos de pools de 3.290 e 585 itens respetivamente [4]. θ situa‑se numa escala contínua Normal(zero, um)‑prior, com a pontuação reportada como a média a posteriori usando o posterior completo durante a calibração, não uma estimativa pontual [4]. A Duolingo também publicou especificamente sobre Responsible AI para este teste, enquadrando qualidade/equidade como uma cadeia contínua de argumentos de validade (definição de domínio → avaliação → generalização → explicação → extrapolação → utilização) — um formato de lista de verificação útil mesmo fora de testes de admissão de alto risco [6].

6. NWEA, i-Ready, Khan Academy, IXL — thinner public detail

O MAP Growth da NWEA relata uma escala RIT (“Rasch unIT”), independente de série e contínua; o centro de investigação da NWEA publica estudos de deriva de parâmetros de item e de validação que pressupõem uma base IRT/Rasch, mas o algoritmo exato de seleção de itens não foi encontrado em páginas públicas acessíveis nesta pesquisa [15]. Os próprios materiais da Khan Academy descrevem mastery learning como o modelo pedagógico, mas as mecânicas de colocação do “Course challenge” não são detalhadas em páginas acessíveis publicamente [16]. A página de produto da IXL afirma claramente que “the difficulty of the questions adapts automatically”, confirmando um comportamento semelhante a CAT, sem publicar a escala, a contagem de itens ou a regra de seleção [17]. O manual técnico do i‑Ready não foi recuperado nesta sessão; não se faz nenhuma alegação específica sobre ele além da sua existência como diagnóstico adaptativo. Esta lacuna é, por si, uma constatação: a literatura da Duolingo e da ALEKS/académica são os blueprints utilizáveis para a v1; os fornecedores de diagnóstico K‑12 tratam os seus internos como segredos comerciais.

7. How many items, and per-topic vs. global

Não existe um mínimo universal, mas dois pontos de dados delimitam o intervalo. CATs de alta importância de comprimento fixo correm normalmente a dezenas de itens para um alvo de erro‑padrão apertado [3]. Um estudo de 2024 que encadeia CATs curtos para o Force Concept Inventory encontrou que administrações adaptativas repetidas de 5 itens (9 vezes ao longo de um semestre) atingiram eficiência “comparável à do método pré‑pós” para monitorizar a mudança — contexto específico (medição formativa repetida, não colocação de um só tiro), mas evidência de que o curto‑e‑repetido pode substituir o longo‑e‑único [18]. Isto favorece a colocação por‑tópico (10‑15 itens por ramo, conforme o briefing do projeto) em vez de um único teste global longo: uma criança pode ser colocada em “aritmética de 3.º ano” e “geometria de jardim de infância” simultaneamente, o que um escore global único não pode representar, mas um CAT por‑tópico e o modelo de knowledge‑space da ALEKS podem [7].

8. Not feeling like a test to a 6-year-old

Nenhuma fonte analisada aqui aborda diretamente a UX infantil, mas dois factos estruturais traduzem‑se em restrições. Porque o CAT direciona cada item próximo da capacidade real do aprendiz por construção, uma colocação adaptativa bem implementada produz naturalmente uma experiência de sucesso misto em vez de uma parede de falhas — o próprio mecanismo protege a sensação, desde que a UI não editorialize por cima (sem contagens regressivas visíveis ou buzinas de resposta errada) [3]. Porque a colocação curta, por‑tópico (§7) é tanto defensável como melhor adaptada à atenção de uma criança, pode ser entregue como uma sequência de mini‑jogos temáticos curtos em vez de um exame contínuo — construindo sobre o precedente já validado para crianças do Math Garden do tópico 13 em vez de re‑derivar o tom aqui [9].

Implicações de design

1. Utilizar dificuldade provisória ao estilo Rasch (1PL) para a v1, não 2PL/3PL. Sem histórico de respostas, apenas um parâmetro de dificuldade por item é realista; discriminação/guessing necessitam de dados que a v1 não terá [1][2][4].
2. Algoritmo: dificuldade etiquetada por peritos + seleção da dificuldade mais próxima. Etiquete manualmente cada item de 1‑100. Em cada passo, selecione o item ainda não usado cuja etiqueta esteja mais próxima da estimativa atual de habilidade — um substituto sem parâmetros para a seleção de máxima informação de Fisher [3][4].
3. Atualização da habilidade: Elo, não MLE/EAP. ability += K * (outcome - expected), expected é uma função logística de (ability − item difficulty), correspondendo à forma de resposta Rasch; O(1) por resposta, adequado a um Durable Object ou a uma escrita D1 por turno, consistente com o precedente do tópico‑13 [1][9].
4. Redução de K dentro de uma sessão. K elevado para os primeiros 3‑4 itens (convergência rápida a partir da estimativa baseada na idade), K menor depois (estabilidade) — o análogo intra‑sessão do período de classificação provisória do Elo no xadrez [9].
5. Regra de paragem: limite rígido de 15 itens, paragem antecipada a partir do item 8 com estabilidade. Interrompa antecipadamente se as últimas 4 respostas tiverem alternado em torno do mesmo nível (±1) sem deriva neta — um proxy para “o erro‑padrão é suficientemente pequeno” sem um modelo calibrado para calcular o erro‑padrão a partir de [3].
6. Colocação por tópico, não uma pontuação global, correspondendo ao modelo de múltiplos estados do ALEKS e à árvore de competências do próprio projeto [7][8].
7. A idade alimenta apenas o item 1; a estimativa de habilidade governa tudo depois. O input de idade é um prior, não um teto ou piso — 2‑3 respostas devem ser capazes de mover a estimativa um nível completo.
8. Registe cada resposta (id do item, dificuldade etiquetada, resultado) desde o primeiro dia. Isto corresponde exatamente aos dados de “arranque” que a equipa da Duolingo requer antes de qualquer recalibração; sem isso desde o lançamento, a implicação 9 inicia tarde [4].
9. Caminho de atualização: re‑ajustar em lote as dificuldades etiquetadas num modelo Rasch real com ~200‑400 respostas por item, combinando o prior de peritos com a estimativa empírica em vez de descartá‑lo, pois o volume por item será desigual [4].
10. 2PL apenas depois de o Rasch estar estável e o volume ser elevado (“centenas” de respostas segundo a literatura); omita totalmente os parâmetros de adivinhação 3PL a menos que o formato seja de escolha múltipla de opções fixas, pois a adivinhação não é identificável de outra forma [1][4].
11. Controlo de exposição apenas quando o tráfego ultrapassa o conjunto de itens. Na v1, basta evitar repetir um item dentro de uma sessão; adicione bloqueio ao estilo Sympson‑Hetter ou seleção aleatória top‑N apenas quando a telemetria mostrar alguns poucos itens a dominar a seleção [3][12].
12. UX por faixa etária:
    • idades ~4‑6 — mini‑jogo guiado por um único personagem, sem pontuação visível, temporizador ou linguagem de “teste”, feedback comemorativo independentemente da correção, terminando numa transição narrativa, não num ecrã de resultados.
    • idades ~7‑11 — uma “missão de aquecimento” com uma barra de progresso que indica a contagem de itens (nunca uma barra de correção), narrativa leve, ainda sem pontuação numérica mostrada.
    • idades ~12‑17 e adulto/perito — enquadramento transparente (“para podermos iniciar no nível correto”) é aceitável e frequentemente preferido, mas ainda deve‑se evitar linguagem de “avaliação da sua habilidade”; um teste adaptativo bem direcionado está genuinamente mais próximo de prática guiada do que de realização de exame, uma vez que converge corretamente, o que sustenta este enquadramento em todas as idades [3].
13. A idade é um tema e uma semente, nunca um limite rígido de colocação — o ponto central de um teste adaptativo, conforme o briefing, é que a habilidade, não a idade, define o nível.

Questões abertas para o proprietário do projeto

1. Colocação obrigatória antes de qualquer prática, ou opcional com um valor predefinido por idade e uma ação posterior de “recalibrar”?
2. Qual o calendário de K para a atualização Elo com K decrescente — fixo (por exemplo, 1,0 / 0,5 / 0,25) ou ajustado empiricamente após o lançamento a partir dos dados registados?
3. Etiquetagem da dificuldade dos itens por um único autor, ou um processo leve de múltiplos avaliadores (2‑3 pessoas, reconciliação de divergências) antes de qualquer item ser lançado?
4. Deve cada tópico partilhar um limite de 15 itens, ou as ramificações amplas (por exemplo, todo o aritmético) devem ter um limite maior do que as estreitas (por exemplo, divisão longa)?
5. Quando a colocação diverge fortemente da idade declarada (uma criança de 5 anos a ser colocada no 3.º ano), deve‑se mostrar claramente, suavizar ou pedir primeiro a confirmação dos pais?
6. A re‑colocação periódica (a cada N semanas, ou após M respostas erradas no nível atual) é uma funcionalidade da v1, ou uma adição posterior após a validação do ciclo principal?
7. Dada a escassez da documentação pública da NWEA/i‑Ready/IXL/Khan Academy, existe interesse em obter os seus manuais técnicos sob acordos de dados de pesquisa, ou a base Duolingo/ALEKS/académica aqui apresentada é suficiente por enquanto?