Tabelas de classificação e design de competição: efeitos psicológicos, sistemas de pontuação e comparação justa entre dificuldades
Resumo executivo
- As classificações na educação têm efeitos mistos e dependentes da posição: motivam quem está próximo do topo, mas desmotivam de forma consistente quem fica no último lugar — a revisão sistemática de 2023 sobre classificações em ambientes gamificados documenta este padrão «de cima a baixo» e pede medir o efeito por posição, não apenas a média da turma [1][2].
- A teoria da comparação social de Festinger (1954) explica o mecanismo: comparar «para cima» pode motivar ou desanimar dependendo da autoestima prévia; comparar «para baixo» protege o ânimo mas não ensina nada. Uma classificação sem design cuidadoso maximiza a comparação para cima para a maioria do grupo [4].
- Christy e Fox (2014), numa aula virtual, descobriram que o componente de comparação social (a classificação) pesou mais do que a ameaça ao estereótipo no desempenho matemático de mulheres — a classificação em si altera o resultado, não apenas o conteúdo [1].
- A teoria da autodeterminação (Deci e Ryan) prevê que a competição percebida como controladora desloca a motivação intrínseca; por isso é importante que a participação na classificação seja opcional [5].
- A meta‑análise de Johnson e Johnson (1981, 122+ estudos) constata que as estruturas cooperativas superam consistentemente as competitivas e individualistas em desempenho e nas relações entre pares [6].
- O Glicko‑2 (com desvio de classificação RD e volatilidade σ) é mais apropriado que o Elo simples para um jogo com sessões irregulares como o Math Challenge; o TrueSkill/OpenSkill resolvem um problema de equipas que este projeto ainda não tem [7][8][9][10].
- Para comparar uma criança de 6 anos a somar com um adulto em tópicos avançados, a solução correta é uma escala de habilidade (θ) estimada independentemente de quais itens foram respondidos — a abordagem da Teoria de Resposta ao Item (TRI), e o que o Codeforces aproxima ao classificar o desempenho relativo ao adversário, não ao valor nominal do problema [11].
- O sistema de ligas do Duolingo (grupos semanais de ~30 com subida/descida) é a referência mais próxima do design já decidido para o Math Challenge; o tamanho pequeno do grupo é intencional: mantém uma posição alcançável para qualquer pessoa naquela semana [13].
- O «sandbagging» (reduzir o desempenho a propósito) e o «smurfing» (contas novas para jogar abaixo do nível real) são falhas conhecidas de qualquer emparelhamento por habilidade; mitigam‑se com RD/volatilidade alta em contas novas, não com regras manuais.
- O Prodigy Math recebeu críticas documentadas (queixa à FTC de mais de 20 organizações, cobertura da NBC News e do Financial Times) por mecânicas de jogo que diluem o conteúdo matemático real — advertência direta contra deixar que a camada de jogo devore a aprendizagem [14][15][16].
Este documento foi traduzido do original em inglês por Claude (Anthropic) e verificado automaticamente contra a fonte: cada número, URL, marcador de citação e marca [unverified] corresponde ao original. A prosa em si ainda não foi revista por um editor humano nativo.
Estado de verificação
Este documento não traz qualquer marca [unverified]. Cada afirmação está ligada a uma fonte numerada abaixo.
[unverified] significa que a afirmação está na investigação mas não foi confirmada contra uma fonte primária na sessão que a produziu. É publicada em vez de removida, porque um corpus que esconde as suas lacunas não é verificável.
Como esta investigação foi produzida
Os 47 documentos foram produzidos a 2026-07-31 por agentes independentes, cada um com instrução de não inventar citações e de marcar como [unverified] o que não pudesse confirmar contra uma fonte primária. A quota de pesquisa na web da sessão esgotou-se a meio e os agentes seguintes trabalharam por descarregamento directo de fontes primárias. Vários sítios (ftc.gov, ico.org.uk) bloqueiam o descarregamento automatizado, e por isso certas afirmações jurídicas estão marcadas de propósito.
Isto é investigação, não aconselhamento jurídico, médico ou financeiro. Nada aqui reivindica um resultado de aprendizagem do Math Challenge; esse estudo ainda não existe.
Constatações
1. Classificações na educação: quem as motivam, quem as desmotivam
A revisão sistemática de 2023 “The use of leaderboards in gamified educational settings” enquadra a constatação central como dependente da posição, não uniforme: a resposta de um aprendiz depende fortemente de onde se situa no quadro [2]. Um estudo de 2025 sobre feedback baseado em leaderboards defende “formas mais padronizadas de examinar efeitos potenciais”, porque a investigação anterior misturou resultados positivos e nulos em vez de separar os desempenhos superiores, intermédios e inferiores [2]. O estudo de Christy e Fox (2014) constatou que uma manipulação de comparação social (um leaderboard classificado) teve um efeito mais forte no desempenho em matemática do que a ameaça de estereótipo, e alguns participantes que tiveram pior desempenho sob pressão de comparação ainda relataram maior identificação académica — os efeitos comportamentais e de motivação sentida podem divergir [1]. Uma meta‑análise mais ampla de 41 estudos de gamificação (5.071 participantes) encontrou um grande efeito agregado (g = 0,822) mas não conseguiu isolar efeitos específicos de leaderboards em desempenhos inferiores — uma média positiva não significa que todas as posições de classificação beneficiem igualmente [3]. A conclusão de design: os leaderboards aumentam o envolvimento em média, ao mesmo tempo que concentram o risco real de prejuízo nos utilizadores na parte inferior, invisível a menos que seja medido por posição.
2. Teoria da comparação social e crianças
A teoria de Festinger (1954) sustenta que as pessoas avaliam as suas capacidades comparando‑se com os outros, sobretudo na ausência de uma referência objetiva [4]. A comparação ascendente (com alguém melhor) pode motivar pessoas com elevada autoestima, mas desmoralizar aquelas que já duvidam de si; a comparação descendente protege o humor sem gerar ganho de aprendizagem [4]. As crianças têm geralmente uma autoestima menos estável que os adultos, e um leaderboard permanente e sempre orientado para cima — onde a criança média vê sempre pessoas à sua frente e nunca lhe são mostrados contextos reconfortantes — favorece estruturalmente a comparação ascendente que a teoria identifica como desmoralizante para indivíduos com baixa confiança.
3. Teoria da autodeterminação: competição como controladora vs. informativa
A teoria da autodeterminação (Deci & Ryan) organiza a motivação em torno da autonomia, competência e relacionamento, num espectro que vai de controlado a autónomo [5]. O efeito da competição depende de ser percebida como feedback informativo sobre a própria competência em desenvolvimento, ou como pressão controladora para superar os outros. Um leaderboard ao qual a criança não pode optar por sair, visível pelos pares, que liga a identidade à classificação, situa‑se mais próximo de controladora; o mesmo sinal de competência entregue de forma privada e enquadrado como “melhoraste” situa‑se mais próximo de informativo. É por isso que a opcionalidade importa tanto quanto o próprio cálculo da classificação [5].
4. Alternativas cooperativas: a evidência
A meta‑análise de Johnson e Johnson de 1981 (122 estudos, 286 resultados) e uma extensão posterior (148 estudos sobre adolescentes jovens) encontraram que as estruturas de metas cooperativas superam as competitivas e individualistas em termos de desempenho, porque os contextos cooperativos geram apoio entre pares que os contextos competitivos não produzem [6]. Isto apoia diretamente mecânicas de equipa/totais de turma (XP combinado da turma, um total de “liga familiar”) como complemento à classificação individual — metas cooperativas recrutam um canal motivacional que a competição individual não pode.
5. Sistemas de classificação: Elo, Glicko-2, TrueSkill, OpenSkill
Elo: E_A = 1/(1+10^((R_B−R_A)/400)), R_A' = R_A + K·(S_A−E_A). Não há conceito de confiança — uma classificação de 3 jogos é tratada como se fosse de 300 — e é conhecida por divergir/inflar ao longo de longos períodos (a população de xadrez com rating superior a 2700+ cresceu de 1 jogador em 1979 para 44 em 2012) [7].
Glicko-2 adiciona Desvio de Rating (RD), que quantifica a confiança (diminui com o jogo, aumenta com a inatividade), e volatilidade (σ), que quantifica a consistência dos resultados [8]. Jogadores novos começam com RD elevado (implementação de referência: 350) de modo a que os resultados iniciais alterem rapidamente o rating; jogadores estabelecidos com RD baixo mudam lentamente. Um parâmetro tau (τ) (~0,3–1,2) limita a rapidez com que a própria volatilidade varia. O sistema opera em períodos de rating discretos [8].
TrueSkill (Microsoft Research) representa cada jogador como uma Gaussiana (μ, σ), estendendo a classificação Bayesiana a equipas ao somar as competências individuais (potencia o matchmaking do Xbox Live); não consegue detetar trapaças, não lida com desvantagens intencionais e não separa a contribuição individual quando os jogadores formam equipas de forma consistente [9].
OpenSkill é uma alternativa de código aberto, livre de patentes, que implementa aproximações Bayesas de Weng‑Lin (Bradley‑Terry, Plackett‑Luce, Thurstone‑Mosteller), direcionada a emparelhamento assimétrico de múltiplas equipas [10].
Adequado para uma aplicação de aprendizagem: Math Challenge é fundamentalmente um jogo de um único utilizador contra o conteúdo, mais próximo do domínio original do Glicko-2 (indivíduos, jogo irregular, necessidade de medida de confiança) do que do domínio de equipas do TrueSkill/OpenSkill. O Glicko-2 adapta‑se melhor; a maquinaria de soma de equipas resolve um problema (competição por equipas) que atualmente não é necessário, acrescentando complexidade real.
6. Comparação justa entre níveis de dificuldade muito diferentes
Somar ingenuamente pontos brutos recompensa quem responde mais rapidamente aos problemas mais fáceis — exatamente o que plataformas de programação competitiva como a Codeforces evitam: “a velocidade na resolução de problemas mais fáceis costuma ser decisiva” é assinalada como uma distorção de pontuação conhecida, corrigida na prática ao classificar o desempenho em relação a oponentes com rating conhecido em vez de um valor fixo de pontos por problema [11].
O princípio generalizável é a Teoria de Resposta ao Item (IRT): em vez de contagens brutas de respostas corretas, a IRT estima conjuntamente a capacidade de uma pessoa (θ, um traço latente, padronizado com média 0 e DP 1) e a dificuldade (b) e discriminação (a) de cada item, através de um modelo logístico p(θ) = c + (1−c)/(1+e^(−a(θ−b))) [11]. Duas pessoas que responderam a itens completamente diferentes e com dificuldades distintas situam‑se na mesma escala de capacidade — exatamente o problema “criança de 6 anos vs. doutorando” que o quadro global precisa resolver. A IRT também sustenta testes adaptativos, onde cada item é escolhido para ser maximamente informativo na estimativa atual de capacidade do testado [11].
Um precedente não digital é o World Handicap System do golfe: Course Handicap = (Handicap Index × Slope Rating)/113 + (Course Rating − Par), onde o Slope Rating (55–155) captura o quão mais difícil é um campo para um jogador de bogey comparado com um jogador scratch — normalizando simultaneamente a habilidade do jogador e a dificuldade da tarefa, o mesmo tipo de problema que comparar a pontuação de adição de uma criança com a pontuação de topologia de um adulto [12].
7. Anti‑inflação e reinicializações de temporada
Os sistemas da família Elo divergem à medida que as populações crescem; sistemas reais contrabalançam isto com recalibração periódica e ancorando a mediana da população (a Lichess relata que a sua mediana permanece perto de 1500 sem deriva significativa a longo prazo) [8]. O RD do Glicko-2 fornece uma ferramenta anti‑inflação complementar gratuitamente: um rating não exercido torna‑se automaticamente mais incerto, pelo que um score antigo não pode permanecer silenciosamente inflado — cada reentrada na competição reavalia o número.
8. Sandbagging e smurfing
Sandbagging (desempenho deliberadamente inferior para enfrentar adversários mais fáceis) e smurfing (um jogador habilidoso numa conta nova e com rating baixo) são modos de falha bem documentados do emparelhamento por habilidade em geral. O sandbagging costuma ser detetado por uma variância de resultados anormalmente alta em relação ao histórico; o smurfing é inerente a atribuir a novas contas ratings baixos/neutros com alta incerteza, pois uma conta nova habilidosa vence rapidamente antes que o seu RD colapse e o rating verdadeiro a alcance. Nenhum dos dois pode ser resolvido apenas pela fórmula — sistemas reais combinam convergência rápida de RD/σ com deteção de anomalias fora do próprio rating.
9. Como os produtos nomeados lidam com a competição infantil
- Duolingo: ligas semanais de ~30 aprendentes agrupados por nível de atividade/fuso horário semelhantes, classificadas por XP, promoção dos melhores e despromoção dos piores, um torneio de eliminação de nível superior e a possibilidade de optar por não participar do leaderboard [13].
- Khan Academy: pontos de energia e um sistema de distintivos de cinco níveis para competências/vídeos/desafios; existem leaderboards para várias métricas, mas a apresentação enfatiza pontos/distintivos como reconhecimento de esforço e domínio.
- Zearn: explicitamento baseado em domínio e não competitivo — as lições são desbloqueadas por uma verificação de domínio “Tower of Power” em vez de superar pares, sem leaderboard na sua documentação de design; a justificativa declarada é equidade e ritmo individualizado.
- Prodigy Math: progresso no jogo e moeda virtual sobreposto ao conteúdo de matemática; recebeu uma queixa da FTC de mais de 20 organizações de defesa de crianças (cobertura do Financial Times, NBC News) alegando práticas de marketing manipuladoras, enganosas e de upselling direcionadas a crianças, e uma revisão da NEPC concluindo que um estudo comissionado pela Prodigy à Johns Hopkins “não sustenta” as alegações da empresa sobre resultados de aprendizagem [14][15][16].
- Mathletics / Live Mathletics (3P Learning): organiza grandes competições com tempo limitado (“World Maths Day”) e um modo em tempo real “Live Mathletics”; os detalhes mecânicos não estavam acessíveis independentemente e devem ser tratados como não confirmados.
10. Críticas nomeadas que vale a pena levar a sério
A crítica académica publicada sobre a gamificação competitiva na aprendizagem infantil é mais escassa do que a cobertura da indústria sugere: a maioria dos estudos rigorosos encontra efeitos reais mas heterogéneos — grandes ganhos agregados juntamente com efeitos incertos ou negativos concentrados em posições de classificação específicas — e não uma narrativa de “sempre bom/mau”, pedindo repetidamente a medição dos efeitos por subgrupo em vez de média de toda a turma [1][2][3].
Implicações de design para o Math Challenge
- Adotar Glicko‑2, não Elo nem TrueSkill, como algoritmo central de classificação. Rastrear
(rating μ, RD, volatility σ)por utilizador por faixa‑etária/matéria. Parâmetros iniciais segundo a referência Glicko‑2: rating 1.500, RD 350, σ ≈ 0,06, τ na gama 0,3–0,5 (preferir o extremo inferior — resistir a oscilações voláteis mais do que um servidor de xadrez faria) [8]. Utilizar períodos de classificação curtos (por exemplo, diários), dado o grande número de “partidas” pequenas (problemas) em vez de torneios de vários dias [8]. - Não classificar cabeça‑a‑cabeça; classificar contra a dificuldade dos itens, ao estilo IRT. Modelar cada problema com a sua própria dificuldade/discriminação estimada conjuntamente [11]. Uma resposta correta a um item difícil é um sinal muito maior do que a mesma resposta a um item fácil — a correção direta para “quem resolve os problemas mais fáceis mais rapidamente ganha”, uma vez que os totais brutos de pontos nunca entram na comparação.
- Normalizar o quadro global com base numa estimativa de capacidade (θ), nunca em pontos brutos ou velocidade. O θ de um/a aluno/a de 6 anos em adição e o θ de um adulto em matemática avançada vivem na mesma escala porque ambos são estimados a partir de respostas a itens calibrados separadamente — o mesmo princípio que o Handicap de Curso no golfe [12]. Ordenar o quadro global por θ (ou por uma transformação limitada dele), não por XP ou contagem de resoluções.
- Manter quadros por faixa‑etária e o quadro global, mas ordenar o quadro global na mesma escala normalizada de θ. Os quadros por faixa‑etária podem mostrar métricas mais simples e adequadas à idade (estrelas, rachas); a classificação baseada em θ fica reservada para a camada que pretende ser genuinamente comparável entre idades.
- Promoção/demissão nas ligas: manter o tamanho de grupo da Duolingo de ~30 pessoas; tornar a demissão suave. Promover a faixa superior (por exemplo, top 15‑20 %) semanalmente; demitir apenas a faixa mais baixa (por exemplo, bottom 10 %), e nunca demitir quem esteve ativo menos de N dias naquela semana — a inatividade deve congelar, não punir, direcionando diretamente a constatação de “os mais baixos desengajam” [1][2].
- Proteger estruturalmente os 20 % mais baixos, não apenas por cópia. Como a parte inferior de qualquer grupo experimenta comparação ascendente constante [4], oferecer à faixa inferior um sinal privado, não comparativo (“melhoraste X % esta semana” em relação ao teu próprio histórico) em vez de apenas um ranking público — reformular o feedback de comparativo para informativo [5].
- Nunca mostrar por defeito o número literal da última posição a uma criança. O dano empírico concentra‑se na parte mais baixa [1][2]; mostrar bandas “metade superior / não metade superior” em vez de ranking exato para níveis mais jovens, reservando o ranking numérico exato ao quadro global (opt‑in) e às faixas etárias superiores.
- Tornar o quadro de líderes opcional e reversível. Os utilizadores (ou um pai/educador) devem poder optar por não aparecer no quadro global público enquanto ainda utilizam o modo de ligas/sala de aula, ou vice‑versa, conforme o precedente da Duolingo e o princípio de autonomia da SDT [5][13].
- Adicionar uma camada cooperativa ao lado da classificação individual: totais de turma/família. Segundo a evidência de Johnson & Johnson [6], acrescentar uma métrica de total de turma ou total de equipa (respostas corretas combinadas, dias de racha combinados) para o modo de sala de aula que succeed ou falhe em conjunto, recrutando o encorajamento entre pares como um segundo canal motivacional.
- Proteger contra sandbagging/smurfing estruturalmente, não por confiança. Novas contas recebem RD/σ elevados, de modo que as vitórias iniciais de um smurf se autocorregem ao longo de algumas sessões [8]. Sinalizar contas com variância de resultados anormalmente alta para revisão, em vez de impedir sandbagging apenas por regra.
- Reiniciar as classificações da temporada, mas manter θ/RD/σ persistentes entre temporadas. As classificações públicas semanais das ligas devem reiniciar a cada ciclo; a estimativa privada de capacidade deve persistir e simplesmente recuperar incerteza durante os intervalos — o mesmo mecanismo anti‑inflação usado em sistemas reais, e evita punir uma criança que regressa após uma pausa escolar.
- Não deixar que mecânicas de jogo/recompensa ultrapassem o conteúdo de matemática. A crítica documentada à Prodigy refere‑se especificamente a mecânicas de progresso de jogo/monetização que diluem o tempo de prática de matemática [14][15][16]; limitar a fração do tempo de sessão dedicada a loops de jogo não‑matemáticos e mapear cada evento de ganho de ponto/XP a um problema de matemática realmente respondido.
- Reportar os efeitos do quadro de líderes por posição de ranking nas próprias análises do Math Challenge. Como a queixa central da literatura é que a maioria dos estudos apenas reporta um efeito médio [1][2][3], instrumentar o produto para rastrear retenção/envolvimento separadamente para utilizadores da faixa superior, média e inferior dentro de cada liga — a única forma de detetar precocemente o padrão “os mais baixos desengajam”.
- Para o modo de sala de aula, deixar o professor escolher a intensidade competitiva por sala. Oferecer aos professores um interruptor por sala entre modo individual classificado, modo cooperativo de equipa ou modo de prática com classificação oculta — operacionalizando as descobertas da SDT/aprendizagem cooperativa como um controlo real em vez de uma política global fixa [5][6].
Questões abertas para o proprietário do projeto
- O quadro global deve classificar por θ bruto, ou por uma transformação limitada/normalizada (por exemplo, percentil dentro de coorte ajustada por faixa etária) — θ bruto é mais “honesto”, percentil mais legível para uma criança sem necessidade de compreender um número de classificação?
- Qual a cadência do período de classificação — diário ou por sessão — que melhor se adequa à frequência de jogo esperada do Math Challenge? Isto afeta a decaída do RD no Glicko‑2.
- A demissão deve ser totalmente suspensa para a faixa etária mais jovem, ou a demissão suave (bottom 10 %, apenas ativos) é suficiente para todas as idades?
- O interruptor de intensidade competitiva por sala do professor deve ser uma definição única por sala ou ajustável a meio de semana, e a sua alteração reinicia as classificações daquela semana?
- Existe interesse em construir “melhorado em relação ao teu próprio histórico” como métrica de primeira classe para a faixa inferior no lançamento, ou isso pode ser deixado para uma iteração posterior?
- A dificuldade dos novos itens deve ser semeada a partir do currículo (heurística de nível de série) com refinamento IRT online desde o primeiro dia, ou lançar apenas com currículo e acrescentar calibração IRT quando houver dados de resposta suficientes?
Fontes
- Christy, K. R., & Fox, J. (2014). "Leaderboards in a virtual classroom: A test of stereotype threat and social comparison explanations for women's math performance." Computers & Education, 78
- "The use of leaderboards in gamified educational settings: A systematic review" (2023)
- Meta-analysis of gamification effects on student learning outcomes (41 studies, 5,071 participants)
- Festinger, L. (1954). Social comparison theory — overview and later research (upward/downward comparison)
- Self-Determination Theory (Deci & Ryan) — official theory site
- Johnson, D. W., Maruyama, G., Johnson, R., & Nelson, D. (1981). "Effects of Cooperative, Competitive, and Individualistic Goal Structures on Achievement: A Meta-Analysis."
- Elo rating system — formula, K-factor, known inflation issues
- Glickman, M. E. "Example of the Glicko-2 system" (official specification)
- TrueSkill Ranking System (Microsoft Research project page)
- OpenSkill documentation (Weng-Lin Bayesian rating models, open-source TrueSkill alternative)
- Item Response Theory — ability parameter, item difficulty/discrimination, logistic model
- World Handicap System (golf) — Handicap Index, Course Rating, Slope Rating normalization
- "How Duolingo Leaderboards and Leagues Work" (Duolingo blog); group-size/design-rationale detail via case study
- Fairplay for Kids — "Prodigy's Losing Equation" (FTC complaint coverage)
- NBC News — "Child protection nonprofit alleges manipulative upselling" re: Prodigy
- National Education Policy Center — newsletter review of Prodigy-commissioned Johns Hopkins study
- Financial Times — coverage of the Prodigy FTC complaint by 20+ advocacy organizations
Perguntas que este documento deixa em aberto
Ficam sem resposta de propósito. São listadas, não resolvidas — transformá-las numa FAQ exigiria inventar respostas que o documento não tem.
- Should the global board rank by raw θ, or by a bounded/normalized transform (e.g., percentile within grade-matched cohort) — raw θ is more "honest," percentile more legible to a child without requiring them to understand a rating number?
- What rating-period cadence — daily or per-session — fits Math Challenge's expected play frequency? This tunes Glicko-2's RD decay.
- Should demotion ever be fully suspended for the youngest grade band, or is soft demotion (bottom 10%, active-only) sufficient across all ages?
- Should the teacher's per-room competitive-intensity toggle be a one-time room setting or adjustable mid-week, and does changing it reset that week's standings?
- Is there appetite to build "improved over your own history" as a first-class metric for the bottom band at launch, or is that scope for a later iteration?
- Should new-item difficulty be curriculum-seeded (grade-level heuristic) with online IRT refinement from day one, or launch curriculum-only and add IRT calibration once enough response data exists?
Um de 51 documentos de investigação, 168 346 palavras no total, contadas na compilação a partir dos próprios ficheiros. Ler este documento no repositório