Dados comportamentais e de processo em sistemas de aprendizagem: o que hesitação e tempo significam, e onde a lei de privacidade infantil traça o limite

Constatações — Parte 1: O que os sinais significam (ciência da aprendizagem)

1. Trocar respostas ajuda muito mais do que a crença popular prevê. O estudo “first instinct fallacy” de Kruger, Wirtz & Miller (JPSP, 2005) revisou mais de 70 anos de pesquisas anteriores e constatou que em nenhum dos 33 estudos os participantes foram prejudicados, em média, ao mudar respostas — apesar de 55% dos instrutores pesquisados aconselharem o contrário. Seu próprio estudo de marca-borracha com 1.561 provas encontrou 51% das mudanças de errado-para-certo, 25% de certo-para-errado, 23% de errado-para-errado; de 1.231 estudantes que mudaram ao menos uma resposta, 54% foram ajudados netamente, 19% prejudicados netamente, 27% nem ajudados nem prejudicados [1]. A crença incompatível tem origem no arrependimento contrafactual: abandonar uma resposta correta gera uma memória dolorosa de “se ao menos”, fazendo com que resultados ruins raros pareçam comuns [1]. Uma troca ou apagamento de resposta não é, por si só, evidência de compreensão fraca.

2. Respostas rápidas, com latência quase zero, são o verdadeiro sinal de alerta — para desengajamento, não para trapaça. O “response time effort” (RTE) de Wise & Kong mede a proporção de itens respondidos acima de um limiar de tempo de solução-comportamento. Uma meta-análise citada encontrou que o RTE está fortemente associado ao desempenho, mais do que o esforço auto-relatado. Aplicado ao PISA 2015, filtrar adivinhadores rápidos elevou as médias de pontuação dos países, mas quase não alterou os rankings [4]. Os limiares variam de um corte fixo (por exemplo, 5 segundos) a normas específicas por item (por exemplo, 15% do tempo típico de solução) [4]. O uso correto é como um piso (“rápido demais para refletir engajamento”), não como penalidade graduada ao longo de toda a faixa de latência.

3. “Gaming the system” é detectável, não monolítico, e os detectores são contornados. Baker, Corbett, Koedinger & Roll definem gaming como explorar regularidades do sistema ao invés de refletir sobre o conteúdo — adivinhação sistemática, pressionar ajuda até que o sistema responda [2][3]. Seu modelo distingue estudantes GAMED-HURT de estudantes GAMED-NOT-HURT que jogam sem perda de aprendizado. Principais características separadoras: várias ações rápidas em sequência, altas taxas de erro em etapas de múltipla escolha, respostas numéricas rápidas, solicitações breves de ajuda ou erros em rápida sucessão [3]. O detector transferiu-se entre coortes de estudantes (A’=0,76–0,92) mas teve desempenho fraco entre interfaces de tutor-aula sem re-treinamento — as assinaturas de gaming são específicas da interface [3]. Os autores alertam: um detector estático e adivinhável convida os estudantes a “aprender como burlar o detector de gaming” [3]. Um alerta direto contra uma regra fixa de pontuação “comportamento errático = trapaça”.

4. “Wheel-spinning” descreve um estudante preso, não se comportando mal. O artigo de Beck & Gong na AIED 2013 nomeia um fenômeno de tutor de aprendizagem por domínio: um estudante trabalhando em uma habilidade por muito mais tempo do que o modelo prevê para a maestria, sem alcanç-la — consumindo tempo e motivação sem ganho. Trabalhos subsequentes da ACM buscaram detecção precoce para que um sistema intervenha antes que o estudante desista. Desempenho consistentemente baixo apesar de muitas tentativas é um sinal diferente de hesitação momentânea, exigindo mudança de estratégia, não pontuação menor.

5. Confusão, tédio e frustração apresentam padrões de transição característicos. O trabalho amplamente citado de D’Mello & Graesser sobre dinâmica afetiva constatou que o tédio é o estado “mais pegajoso” — difícil de escapar depois de iniciado — enquanto a confusão funciona como pivô que se resolve de forma produtiva (em direção ao reengajamento) ou improdutiva (em direção à frustração, depois ao tédio), dependendo de o ambiente oferecer suporte. Esses estados foram inferidos a partir de padrões de interação (latência, erros, busca de ajuda), não de sensores. O alvo acionável é interromper a espiral de tédio/frustração cedo, por meio de curtas janelas agregadas de dificuldade, e não por sinalizações de evento único.

6. PISA e NAEP agora tratam dados de processo como um recurso de pesquisa, com limites reais. O programa de dados de processo do NAEP publica registros de interação com marcação temporal — tempo em tarefa, contagens de navegação/revisita, uso de ferramentas, sequências de ação — e convida pesquisadores a derivarem suas próprias variáveis comportamentais ao invés de impor interpretações fixas [5], o que demonstra o quão ainda incerta está a interpretação de dados brutos de processo. O programa de adivinhação rápida/RTE do PISA (constatação 2) é o resultado aplicado mais maduro dessa linha de trabalho.

7. Fluência e automaticidade aparecem como formato da distribuição, não como velocidade de tentativa única. Pesquisas em aritmética cognitiva tratam a automaticidade como uma mudança em toda a distribuição de tempo de resposta: rápida e de baixa variância (recuperação de memória) versus lenta e de alta variância (contagem/estratégias derivadas), com ocasional cauda longa à direita mesmo em respondentes fluentes. A fluência nunca deve ser pontuada a partir de uma única tentativa: somente um padrão estável ao longo de muitas tentativas distingue “ainda não automático” de “um dia lento”.

8. Dinâmica de digitação está madura — desenvolvida para autenticação, não para pontuação em sala de aula. O campo padroniza dwell time (duração da tecla pressionada) e flight time (intervalo entre a liberação e a próxima pressão), além de temporização de dígrafos e padrões de correção de erros, usados para autenticação contínua com limiares de confiança ao invés de aprovação/reprovação [10]. O domínio existe para identificar quem está digitando; o interesse do Math Challenge está mais próximo de como uma criança já conhecida digita — risco menor, mas empresta o vocabulário exato de recursos que um regulador usará para perguntar “isso é dado biométrico?”

Constatações — Parte 2: Onde a lei de privacidade traça a linha

9. Segundo o GDPR, dados biométricos só são reforçados (“categoria especial”, Art. 9) quando usados para identificação única. O Art. 4(14) define dados biométricos como dados pessoais provenientes do processamento técnico de características físicas, fisiológicas ou comportamentais que permitem identificação única; o gatilho do Art. 9 requer que o propósito de identificação seja especificamente esse [7][11]. A dinâmica de digitação se enquadra na metade de características comportamentais da definição. O fato determinante é o propósito: registrar latência/contagens de apagamento para adaptar a dificuldade não constitui, por si só, processamento de categoria especial — mas a impressão digital de qual criança está digitando a partir do ritmo cruzaria a linha imediatamente. O Art. 3(34) do EU AI Act elimina o requisito de identificação, de modo que suas regras de risco mais amplas podem ser aplicadas independentemente da intenção [11] — uma segunda razão independente para evitar qualquer perfil de ritmo de digitação por criança.

10. Nenhum caso confirmado da BIPA trata diretamente da dinâmica de digitação. A BIPA de Illinois enumera impressões digitais, escaneamentos de retina/íris, impressões de voz e geometria de mão/rosto como seus exemplos principais; seu histórico intenso de ações coletivas concentrou-se nessas modalidades. Trata-se de uma questão jurídica em aberto, não de jurisprudência consolidada — sinalizar ao assessor jurídico ao invés de assumir qualquer posição.

11. O Artigo 28 da DSA proíbe a segmentação publicitária baseada em perfil de menores e, separadamente, rejeita “coletar mais para cumprir”. O Art. 28(2) proíbe anúncios baseados em perfil de usuários conhecidos como menores; o Art. 28(1) exige “medidas adequadas e proporcionais” para privacidade/segurança; o Art. 28(3) afirma que não há obrigação de processar dados adicionais apenas para avaliar se um usuário é menor [6]. Para um produto já declarado para crianças a partir dos 4 anos, o perfil de segmentação publicitária não é relevante, mas o princípio “não coletar extra para provar idade” se generaliza: não colete um tipo de dado apenas para justificar outro.

12. O AADC do Reino Unido estabelece o padrão mais concreto: perfil desativado por padrão, minimização rigorosa, sem dark patterns. Ele instrui os serviços a “prevenir o perfil… a menos que estritamente necessário, e desativá-lo por padrão”, “coletar e manter apenas o que for absolutamente necessário” e evitar “dark patterns… que incentivem crianças a compartilhar mais do que precisam” [8]. As orientações da ICO desencorajam separadamente o perfil de crianças “sempre que possível”, já que crianças “podem ser mais facilmente influenciadas que adultos” [9]. Qualquer uso adaptativo/de pontuação de sinais comportamentais deve ser uma exceção estreita e divulgada ao padrão de perfil desativado.

13. A minimização de dados para telemetria tem um formato estabelecido: agregar no dispositivo, armazenar recursos derivados, descartar fluxos brutos. Calcule um pequeno conjunto de recursos derivados, não reversíveis, no dispositivo — tempo até a primeira tecla, edições antes da submissão, mudança de resposta (bool), escore-z de tempo de resposta em relação à própria linha de base da criança — e transmita apenas esses. O programa de dados de processo do NAEP publica variáveis de sequência de ação derivadas, não o sinal bruto do dispositivo de entrada — um precedente para dados de processo responsáveis no estado da arte da indústria de avaliações [5].

Catálogo de sinais

Sinal	O que indica	Como calcular	Risco de privacidade	Apenas bruto ou derivado
Latência total de resposta	Fluência, apenas em agregado (finding 7)	Timestamp de renderização vs. envio	Baixo	Derivado: escore z em relação à linha de base da própria criança
Tempo até a primeira tecla	Latência de recuperação vs. “ainda lendo”	Timestamp de renderização vs. primeira entrada	Baixo	Apenas duração derivada
Indicador de adivinhação rápida	Desengajamento, conforme PISA RTE (finding 2)	Latência vs. piso calibrado por item [4]	Baixo	Booleano derivado
Resposta alterada antes de enviar (contagem)	Normalmente autocorreção, neto-positivo (finding 1)	Contagem de edições da resposta final	Baixo	Contagem derivada, sem conteúdo da edição
Contagem de apagamento/backspace	Fraco isoladamente; confunde revisão com ansiedade	Contagem de eventos de exclusão	Médio se emparelhado com tempo por tecla	Apenas contagem derivada — sem tempo por tecla
Tempo completo de tecla (dwell/flight por tecla)	Conjunto de recursos de dinâmica de teclas (finding 8)	Timestamps de pressionamento/liberação por tecla	Alto — definição biométrica comportamental se aplica [11]	Nunca armazenar bruto; calcular agregados, descartar
Solicitações de ajuda/dica em rápida sucessão	Possível abuso de ajuda/gaming (finding 3), apenas agregado	Contagem + intervalo por sessão/semana	Baixo	Taxa agregada derivada
Tentativas repetidas sem domínio	Possível wheel-spinning (finding 4) — sinal de intervenção	Tentativas vs. expectativa do modelo	Baixo	Contagem derivada
Forma da distribuição de RT, muitas tentativas do mesmo tipo de fato	Verdadeiro sinal de fluência (finding 7), nunca em única tentativa	Média + variância por família de fatos	Baixo	Resumo da distribuição derivada
Sequências rápidas de baixo esforço entre itens	Padrão de gaming agregado (finding 3)	Janela deslizante sobre os últimos N itens	Baixo-médio se retido por muito tempo	Pontuação deslizante derivada, retenção curta
Padrão de navegação/revisita	Sinal de engajamento, conforme NAEP (finding 6)	Contagem de eventos de navegação	Baixo	Contagem derivada

Implicações de design

1. Nunca pontue latência ou contagem de apagamento diretamente como penalidade. As conclusões 1 e 7 mostram que respostas lentas, corrigidas ou editadas são frequentemente o melhor comportamento cognitivo — subtrair pontos por “demorou muito” ou “alterou a resposta” é pedagogicamente contrário e contradito por mais de 70 anos de pesquisa em testes.
2. O único uso defensável de um piso rígido de latência é como filtro de desengajamento, não como penalidade graduada. Seguindo o modelo RTE da PISA (conclusão 2), sinalize “rápido demais para ter se engajado” como um piso binário calibrado por tipo de problema — não uma escala deslizante que continua penalizando à medida que a velocidade diminui em direção ao normal.
3. Calcule fluência a partir de muitas tentativas da mesma família de fatos, nunca de uma única tentativa. A automaticidade é (média baixa E variância baixa) ao longo de exposições repetidas (conclusão 7); uma única resposta lenta-mas-correta nunca deve reduzir a pontuação de fluência, apenas retê-la até obter mais dados.
4. Trate “resposta alterada antes de enviar” como neutro-para-positivo, nunca como sinal de alerta. Registre-a apenas como contagem (conclusão 1); se entrar na pontuação, deve creditar a autorregulação, não descontar pontos.
5. Reserve a detecção estilo gaming para agregados entre sessões, nunca para sinalizações de evento único, e nunca exponha limites exatos na interface. O próprio aviso de Baker et al. (conclusão 3) é que um detector visível e estático é aprendido pelos usuários; se implementado, deve acionar uma intervenção em modo dica, não uma penalidade de pontuação, e seus limites devem ser revisados periodicamente.
6. Mantenha “preso” (wheel-spinning), “desengajado” (padrão de gaming) e “dominado” (fluente-e-rápido) como três estados separados com três respostas distintas, não uma pontuação comportamental composta: preso → mudar estratégia/escalar; desengajado → ajustar incentivos, não apenas penalizar; fluente → avançar dificuldade.
7. Registre no nível de recursos derivados calculados no dispositivo, nunca fluxos brutos de interação. Conforme a conclusão 13, o tempo de dwell/flight por tecla nunca deve sair do dispositivo ou persistir além do cálculo do agregado único; os dados sincronizados ficam limitados a contagens, booleanos e resumos distributivos.
8. Nunca construa um modelo que identifique qual criança está no teclado a partir do ritmo de digitação, mesmo internamente. Conforme a conclusão 9, isso é a linha clara que transforma uma questão biométrica comportamental ambígua em uma questão inequívoca do GDPR Art. 9 — e não é um recurso que o produto precisa, já que a criança já está autenticada por conta.
9. Defina por padrão toda pontuação/perfilagem derivada de comportamento como desativada, com exceções estreitas e divulgadas, espelhando a norma de perfilagem desativada por padrão da AADC (conclusão 12) — atenda ao regime mais rigoroso aplicável globalmente em vez de proteções por geofencing.
10. Defina um período de retenção curto para logs de tempo de sessão quase brutos, separado do modelo de domínio/fluência de longa duração — por exemplo, 30–90 dias para calcular estatísticas deslizantes, depois manter apenas a pontuação agregada por habilidade. Essa faixa é uma proposta para o proprietário confirmar, não um requisito legal citado.
11. Não colete dados adicionais (verificações de idade mais rigorosas, sensores do dispositivo) apenas para justificar a coleta de telemetria comportamental, conforme a rejeição da conclusão 11 ao argumento “coletar mais para cumprir”.
12. Qualquer uso adaptativo de sinais comportamentais deve ser explicável a um responsável em linguagem simples — “ajustamos o ritmo do problema com base em quão rápido e confiante você responde, não observando como você digita” — já que a transparência da AADC (conclusão 12) cobre como o sistema é explicado, não apenas o que ele coleta.
13. Publique a lista exata de recursos derivados coletados no aviso de privacidade voltado aos responsáveis, e trate qualquer adição como exigindo uma nova revisão de privacidade — minimização como um critério, não uma escolha única.

Perguntas abertas para o dono do projeto

1. O Math Challenge deve comprometer-se a nunca persistir o tempo bruto por tecla (dwell/flight time), mesmo que temporariamente em um servidor, calculando todos os agregados apenas no dispositivo — eliminando totalmente a questão de dinâmica de teclas/biométrica?
2. Qual janela de retenção é aceitável para logs de interação ao nível de sessão antes da redução a agregados por habilidade? A faixa de 30–90 dias na Implicação 10 é uma proposta, não um requisito legal citado.
3. O Math Challenge terá usuários do Reino Unido/UE em curto prazo, tornando o AADC/GDPR/DSA diretamente vinculantes em vez de apenas boas práticas a serem emuladas globalmente?
4. A detecção de padrão de gaming (Implicações 5–6) deve ser incluída na v1, considerando que até os detectores validados de Baker et al. não se transferem entre diferentes tipos de interface de problema sem re-treinamento?
5. A formulação “verifica o próprio trabalho” ao mudar a resposta (Implicação 4) deve ser visível para a criança como incentivo, ou puramente interna à pontuação — isso altera tanto a UX quanto a análise de transparência da AADC?