Dados comportamentais e de processo em sistemas de aprendizagem: o que significam a hesitação e os tempos, e onde o direito da privacidade das crianças traça a linha

Constatações — Parte 1: O que os sinais significam (ciência da aprendizagem)

1. Alterar respostas ajuda muito mais do que a crença popular prevê. O estudo “first instinct fallacy” de Kruger, Wirtz & Miller (JPSP, 2005) revistou mais de 70 anos de investigação anterior e constatou que, em nenhum dos 33 estudos, os candidatos foram prejudicados, em média, ao mudar respostas — apesar de 55 % dos docentes inquiridos aconselharem o contrário. O seu próprio estudo com marca‑de‑borracha em 1.561 exames encontrou 51 % das alterações de errado‑para‑certo, 25 % de certo‑para‑errado, 23 % de errado‑para‑errado; de 1.231 estudantes que mudaram pelo menos uma resposta, 54 % foram ajudados no total, 19 % prejudicados, 27 % nem ajudados nem prejudicados [1]. A crença desencontrada tem origem no arrependimento contrafactual: abandonar uma resposta correta produz uma memória dolorosa de “se ao menos”, fazendo com que resultados negativos raros pareçam comuns [1]. Uma alteração de resposta ou apagamento não é, por si só, evidência de compreensão fraca.

2. Respostas rápidas, quase sem latência, são o verdadeiro sinal de alerta — para desengajamento, não para manipulação. O “response time effort” (RTE) de Wise & Kong mede a proporção de itens respondidos acima de um limiar de tempo de solução‑comportamento. Uma meta‑análise citada encontrou que o RTE está fortemente associado ao desempenho, mais do que o esforço auto‑reportado. Aplicado ao PISA 2015, filtrar os adivinhadores rápidos aumentou as médias nacionais mas alterou pouco os rankings [4]. Os limiares variam de um corte fixo (por exemplo, 5 segundos) a normas específicas ao item (por exemplo, 15 % do tempo típico de solução) [4]. O uso correto é como um piso (“rápido demais para refletir envolvimento”), não como uma penalização graduada ao longo de toda a gama de latência.

3. “Manipular o sistema” é detectável, não monolítico, e os detectores são manipulados a sua vez. Baker, Corbett, Koedinger & Roll definem manipulação como explorar regularidades do sistema em vez de pensar no material — adivinhação sistemática, solicitação de ajuda repetidamente até o sistema responder [2][3]. O seu modelo distingue estudantes GAMED‑HURT de estudantes GAMED‑NOT‑HURT que manipulam sem perda de aprendizagem. Principais recursos separadores: várias ações rápidas consecutivas, altas taxas de erro em passos de escolha múltipla, respostas numéricas rápidas, pedidos de ajuda breves ou erros em rápida sucessão [3]. O detector transferiu‑se entre coortes de estudantes (A’=0,76–0,92) mas teve mau desempenho entre interfaces de tutor‑lição sem re‑treino — as assinaturas de manipulação são específicas da interface [3]. Os autores alertam: um detector estático e adivinhável convida os estudantes a “aprender a manipular o detector de manipulação” [3]. Um aviso direto contra uma regra de pontuação fixa que associa “comportamento errático = trapaça”.

4. “Wheel‑spinning” descreve um estudante preso, não a comportar‑se mal. O artigo de Beck & Gong na AIED 2013 nomeia um fenómeno de tutor de aprendizagem‑dominante: um estudante a trabalhar numa competência muito mais tempo do que o modelo prevê para a sua aquisição, sem a alcançar — desperdiçando tempo e motivação sem ganho. Trabalhos subsequentes da ACM procuraram deteção precoce para que um sistema pudesse intervir antes de o estudante desistir. Desempenho consistentemente baixo apesar de muitas tentativas é um sinal diferente da hesitação momentânea, exigindo uma mudança de estratégia, não uma pontuação mais baixa.

5. Confusão, tédio e frustração têm padrões de transição característicos. O trabalho amplamente citado de D’Mello & Graesser sobre dinâmica afetiva descobriu que o tédio é o estado “mais aderente” — difícil de escapar uma vez que se entra — enquanto a confusão é um pivô que se resolve produtivamente (para o re‑envolvimento) ou improdutivamente (para a frustração, depois o tédio) dependendo de o ambiente a apoiar. Estes estados foram inferidos a partir de padrões de interação (latência, erros, procura de ajuda), não de sensores. O objetivo acionável é interromper a espiral de tédio/frustração cedo, através de curtas janelas agregadas de dificuldade, e não de sinalizações de evento único.

6. O PISA e o NAEP tratam agora os dados de processo como um recurso de investigação, com limites reais. O programa de dados de processo do NAEP publica registos de interação com marca temporal — tempo de tarefa, contagens de navegação/revisita, uso de ferramentas, sequências de ação — e convida os investigadores a derivar as suas próprias variáveis comportamentais em vez de impor interpretações fixas [5], sinal de quão ainda incerta está a interpretação dos dados de processo brutos. O programa de adivinhação rápida/RTE do PISA (constatação 2) é o resultado aplicado mais maduro desta linha de trabalho.

7. Fluência e automaticidade manifestam‑se como forma da distribuição, não como velocidade de tentativa única. A investigação em aritmética cognitiva trata a automaticidade como uma mudança em toda a distribuição de tempos de resposta: rápida e de baixa variância (recuperação de memória) versus lenta e de alta variância (contagem/estratégias derivadas), com ocasional cauda longa mesmo em respondentes fluentes. A fluência nunca deve ser pontuada a partir de uma única tentativa: apenas um padrão estável ao longo de muitas tentativas distingue “ainda não automático” de “um dia lento”.

8. A dinâmica de pressionamento de teclas está madura — desenvolvida para autenticação, não para pontuação em sala de aula. O domínio padroniza o tempo de permanência (duração de manutenção da tecla) e o tempo de voo (intervalo entre a libertação e o próximo pressionamento), além de temporização de dígrafos e padrões de correção de erros, usados para autenticação contínua com limiares de confiança em vez de aprovação/reprovação [10]. O domínio existe para identificar quem está a digitar; o interesse do Math Challenge está mais próximo de como uma criança já conhecida digita — risco menor, mas empresta o vocabulário exato de características que um regulador usará para perguntar “isto são dados biométricos?”.

Constatações — Parte 2: Onde a lei de privacidade traça o limite

9. Ao abrigo do GDPR, os dados biométricos só são reforçados (“categoria especial”, Art. 9) quando utilizados para identificação única. O Art. 4(14) define dados biométricos como dados pessoais provenientes do tratamento técnico de características físicas, fisiológicas ou comportamentais que permitem a identificação única; o gatilho do Art. 9 requer que o propósito de identificação seja especificamente esse [7][11]. A dinâmica de pressionamento de teclas enquadra‑se na metade das características comportamentais da definição. O facto determinante é o propósito: registar latências/contagens de apagamento para adaptar a dificuldade não constitui, por esse uso isolado, tratamento de categoria especial — mas a impressão digital de qual criança está a digitar a partir do ritmo cruzaria a linha imediatamente. O Art. 3(34) do EU AI Act elimina o requisito de identificação, pelo que as suas regras de risco em camadas mais amplas podem aplicar‑se independentemente da intenção [11] — uma segunda razão independente para evitar qualquer perfil de ritmo de digitação por criança.

10. Nenhum caso confirmado da BIPA aborda diretamente a dinâmica de pressionamento de teclas. A BIPA de Illinois nomeia impressões digitais, varreduras de retina/íris, impressões de voz e geometria de mão/rosto como os seus exemplos principais; a sua história de litígios em ações coletivas tem‑se centrado nessas modalidades. Esta é uma questão jurídica aberta, não uma lei consolidada — sinalizar ao aconselhamento jurídico em vez de assumir de qualquer forma.

11. O Artigo 28 da DSA proíbe a segmentação publicitária baseada em perfis de menores, e rejeita separadamente “recolher mais para cumprir”. O Art. 28(2) proíbe anúncios baseados em perfis de utilizadores conhecidos como menores; o Art. 28(1) exige “medidas adequadas e proporcionais” para privacidade/segurança; o Art. 28(3) afirma que não há obrigação de processar dados adicionais apenas para avaliar se um utilizador é menor [6]. Para um produto já declarado para crianças a partir dos 4 anos, a segmentação publicitária baseada em perfis não é um problema, mas o princípio de “não recolher dados extra para provar a idade” generaliza‑se: não recolha um tipo de dado apenas para justificar outro.

12. O AADC do Reino Unido estabelece o padrão mais concreto: perfis desativados por defeito, minimização rigorosa, sem padrões enganosos. Instruí os serviços a “prevenir a criação de perfis… a menos que seja estritamente necessário, e desativá‑los por defeito”, “recolher e manter apenas o que for absolutamente necessário”, e evitar “padrões enganosos… que incentivem as crianças a partilhar mais do que precisam” [8]. A orientação da ICO desencoraja separadamente a criação de perfis de crianças “sempre que possível”, uma vez que as crianças “podem ser mais facilmente influenciadas do que os adultos” [9]. Qualquer uso adaptativo/pontuação de sinais comportamentais deve ser uma exceção estreita e divulgada ao padrão de perfis desativados.

13. A minimização de dados para telemetria tem uma forma estabelecida: agregar no dispositivo, armazenar características derivadas, descartar fluxos brutos. Calcule um pequeno conjunto de características derivadas, não reversíveis, no dispositivo — tempo até a primeira tecla, edições antes de submeter, alteração de resposta (bool), escore‑z do tempo de resposta em relação à linha de base própria da criança — e transmita apenas essas. O próprio programa de dados de processo do NAEP publica variáveis de sequência de ação derivadas, não o sinal bruto do dispositivo de entrada — um precedente para dados de processo responsáveis ao nível da arte da indústria de avaliação [5].

Catálogo de sinais

Sinal	O que indica	Como o calcular	Risco de privacidade	Só bruto ou derivado
Total response latency	Fluência, apenas em agregado (conclusão 7)	Timestamp de renderização vs. timestamp de submissão	Baixo	Derivado: z‑score em relação à linha de base própria da criança
Time-to-first-keystroke	Latência de recuperação vs. “ainda a ler”	Timestamp de renderização vs. timestamp da primeira entrada	Baixo	Duração derivada apenas
Rapid-guess flag	Desengajamento, por PISA RTE (conclusão 2)	Latência vs. piso calibrado por item [4]	Baixo	Booleano derivado
Answer changed before submit (count)	Normalmente autocorreção, net‑positivo (conclusão 1)	Contagem de edições da resposta final	Baixo	Contagem derivada, sem conteúdo da edição
Erasure/backspace count	Fraco isoladamente; confunde revisão com ansiedade	Contagem de eventos de eliminação	Médio se emparelhado com temporização por tecla	Apenas contagem derivada — sem temporização por tecla
Full keystroke timing (dwell/flight per key)	Conjunto de características de dinâmica de teclas (conclusão 8)	Timestamps de pressão/libertação por tecla	Alto — aplica‑se a definição biométrica comportamental [11]	Nunca armazenar bruto; calcular agregados, descartar
Help/hint requests in quick succession	Possível abuso de ajuda/gaming (conclusão 3), apenas em agregado	Contagem + intervalo por sessão/semana	Baixo	Taxa agregada derivada
Repeated attempts without mastery	Possível “wheel‑spinning” (conclusão 4) — sinal de intervenção	Tentativas vs. expectativa do modelo	Baixo	Contagem derivada
RT distribution shape, many trials same fact type	Sinal verdadeiro de fluência (conclusão 7), nunca em único teste	Média + variância por família de factos	Baixo	Resumo da distribuição derivado
Quick low-effort sequences across items	Padrão de gaming agregado (conclusão 3)	Janela móvel sobre os últimos N itens	Baixo‑médio se retido por muito tempo	Pontuação móvel derivada, retenção curta
Navigation/revisit pattern	Sinal de envolvimento, por NAEP (conclusão 6)	Contagem de eventos de navegação	Baixo	Contagem derivada

Implicações de design

1. Nunca pontuar latência ou contagem de eliminação diretamente como penalização. As conclusões 1 e 7 mostram que respostas lentas, corrigidas ou editadas são frequentemente o melhor comportamento cognitivo — subtrair pontos por “demorou muito” ou “alterou a resposta” é pedagogicamente contrário e contradito por mais de 70 anos de investigação em testes.
2. O único uso defensável de um piso rígido de latência é como filtro de desengajamento, não como penalização graduada. Seguindo o modelo RTE da PISA (conclusão 2), sinalize “muito rápido para ter se engajado” como um piso binário calibrado por tipo de problema — não uma escala deslizante que continua a penalizar à medida que a velocidade se aproxima do normal.
3. Calcule fluência a partir de múltiplas tentativas da mesma família de factos, nunca de um único teste. A automaticidade é (média baixa E variância baixa) ao longo de exposições repetidas (conclusão 7); uma única resposta lenta‑mas‑correta nunca deve reduzir a pontuação de fluência, apenas suspende‑a até que haja mais dados.
4. Trate “resposta alterada antes de submeter” como neutro‑positivo, nunca como sinal de alerta. Registe‑a apenas como contagem (conclusão 1); se entrar na pontuação, deve creditar a autorregulação, não deduzir pontos.
5. Reserve a deteção de estilo de gaming para agregados entre sessões, nunca para sinalizações de evento único, e nunca exponha limiares exatos na UI. O próprio aviso de Baker et al. (conclusão 3) indica que um detector visível e estático é aprendido pelos utilizadores; se for implementado, deve acionar uma intervenção de modo de ajuda, não uma penalização de pontuação, e os limiares devem ser revistos periodicamente.
6. Mantenha “preso” (wheel‑spinning), “desengajado” (padrão de gaming) e “dominado” (fluente‑e‑rápido) como três estados separados com três respostas distintas, não uma pontuação de comportamento composta: preso → mudar estratégia/escalar; desengajado → ajustar incentivos, não apenas penalizar; fluente → avançar dificuldade.
7. Registe ao nível de características derivadas calculadas no dispositivo, nunca fluxos brutos de interação. Conforme a conclusão 13, o tempo de permanência/voo por tecla nunca deve deixar o dispositivo ou persistir além do cálculo do agregado único; os dados sincronizados limitam‑se a contagens, booleanos e resumos distributivos.
8. Nunca construa um modelo que identifique qual criança está ao teclado a partir do ritmo de digitação, mesmo internamente. Conforme a conclusão 9, isso transforma uma questão biométrica comportamental ambígua numa clara violação do Artigo 9 do GDPR — e não é funcional, pois a criança já está autenticada por conta.
9. Defina toda a pontuação/perfilamento derivado de comportamento como desativado por defeito, com exceções estreitas e divulgadas, refletindo a norma “profiling‑off‑by‑default” da AADC (conclusão 12) — cumpra o regime mais rigoroso aplicável globalmente em vez de limitar proteções por zona geográfica.
10. Estabeleça um período de retenção curto para registos de temporização de sessão quase‑brutos, separado do modelo de domínio/fluência de longa duração — por exemplo, 30–90 dias para calcular estatísticas móveis, depois manter apenas a pontuação agregada por competência. Esta gama é uma proposta para o proprietário confirmar, não um requisito legal citado.
11. Não recolher dados adicionais (verificações de idade mais rigorosas, sensores do dispositivo) apenas para justificar a recolha de telemetria comportamental, conforme a rejeição da conclusão 11 ao raciocínio “recolher mais para cumprir”.
12. Qualquer uso adaptativo de sinais comportamentais deve ser explicável a um pai em linguagem simples — “ajustamos o ritmo do problema com base na rapidez e confiança com que respondes, não ao observar como escreves” — já que a transparência da AADC (conclusão 12) cobre como o sistema é explicado, não apenas o que recolhe.
13. Publicar a lista exata de características derivadas recolhidas no aviso de privacidade dirigido aos pais, e tratar qualquer adição como necessidade de nova revisão de privacidade — minimização como porta, não como escolha única.

Questões abertas para o proprietário do projeto

1. O Math Challenge deve comprometer‑se a nunca persistir temporizações brutas por tecla (tempo de permanência/voo), mesmo temporariamente num servidor, calculando todos os agregados apenas no dispositivo — eliminando totalmente a questão da dinâmica de teclas/biométrica?
2. Qual janela de retenção é aceitável para registos de interação a nível de sessão antes da redução a agregados por competência? O intervalo de 30–90 dias na Implicação 10 é uma proposta, não um requisito legal fonte.
3. O Math Challenge terá utilizadores no Reino Unido/UE a curto prazo, tornando o AADC/GDPR/DSA diretamente vinculativo em vez de mera prática recomendada global?
4. A deteção de padrão de gaming (Implicações 5–6) deve ser incluída na v1, dado que mesmo os detectores validados por Baker et al. não se transferem entre diferentes tipos de interface de problema sem retreinamento?
5. A formulação “verifica o próprio trabalho” ao mudar a resposta (Implicação 4) deve ser visível para a criança como incentivo, ou puramente interna à pontuação — isto altera tanto a UX quanto a análise de transparência da AADC?