Math Challenge
Mais

Tabelas de classificação e design de competição: efeitos psicológicos, sistemas de pontuação e comparação justa entre dificuldades

mc-18 · Publicado: · por Math Challenge Research · 3328 palavras · 17 fontes citadas

Resumo executivo

434 palavras

Este documento foi traduzido do original em inglês por Claude (Anthropic) e verificado automaticamente contra a fonte: cada número, URL, marcador de citação e marca [unverified] corresponde ao original. A prosa em si ainda não foi revista por um editor humano nativo.

Estado de verificação

Este documento não traz qualquer marca [unverified]. Cada afirmação está ligada a uma fonte numerada abaixo.

[unverified] significa que a afirmação está na investigação mas não foi confirmada contra uma fonte primária na sessão que a produziu. É publicada em vez de removida, porque um corpus que esconde as suas lacunas não é verificável.

Como esta investigação foi produzida

Os 47 documentos foram produzidos a 2026-07-31 por agentes independentes, cada um com instrução de não inventar citações e de marcar como [unverified] o que não pudesse confirmar contra uma fonte primária. A quota de pesquisa na web da sessão esgotou-se a meio e os agentes seguintes trabalharam por descarregamento directo de fontes primárias. Vários sítios (ftc.gov, ico.org.uk) bloqueiam o descarregamento automatizado, e por isso certas afirmações jurídicas estão marcadas de propósito.

Constatações

1. Classificações na educação: quem as motivam, quem as desmotivam

A revisão sistemática de 2023 “The use of leaderboards in gamified educational settings” enquadra a constatação central como dependente da posição, não uniforme: a resposta de um aprendiz depende fortemente de onde se situa no quadro [2]. Um estudo de 2025 sobre feedback baseado em leaderboards defende “formas mais padronizadas de examinar efeitos potenciais”, porque a investigação anterior misturou resultados positivos e nulos em vez de separar os desempenhos superiores, intermédios e inferiores [2]. O estudo de Christy e Fox (2014) constatou que uma manipulação de comparação social (um leaderboard classificado) teve um efeito mais forte no desempenho em matemática do que a ameaça de estereótipo, e alguns participantes que tiveram pior desempenho sob pressão de comparação ainda relataram maior identificação académica — os efeitos comportamentais e de motivação sentida podem divergir [1]. Uma meta‑análise mais ampla de 41 estudos de gamificação (5.071 participantes) encontrou um grande efeito agregado (g = 0,822) mas não conseguiu isolar efeitos específicos de leaderboards em desempenhos inferiores — uma média positiva não significa que todas as posições de classificação beneficiem igualmente [3]. A conclusão de design: os leaderboards aumentam o envolvimento em média, ao mesmo tempo que concentram o risco real de prejuízo nos utilizadores na parte inferior, invisível a menos que seja medido por posição.

2. Teoria da comparação social e crianças

A teoria de Festinger (1954) sustenta que as pessoas avaliam as suas capacidades comparando‑se com os outros, sobretudo na ausência de uma referência objetiva [4]. A comparação ascendente (com alguém melhor) pode motivar pessoas com elevada autoestima, mas desmoralizar aquelas que já duvidam de si; a comparação descendente protege o humor sem gerar ganho de aprendizagem [4]. As crianças têm geralmente uma autoestima menos estável que os adultos, e um leaderboard permanente e sempre orientado para cima — onde a criança média vê sempre pessoas à sua frente e nunca lhe são mostrados contextos reconfortantes — favorece estruturalmente a comparação ascendente que a teoria identifica como desmoralizante para indivíduos com baixa confiança.

3. Teoria da autodeterminação: competição como controladora vs. informativa

A teoria da autodeterminação (Deci & Ryan) organiza a motivação em torno da autonomia, competência e relacionamento, num espectro que vai de controlado a autónomo [5]. O efeito da competição depende de ser percebida como feedback informativo sobre a própria competência em desenvolvimento, ou como pressão controladora para superar os outros. Um leaderboard ao qual a criança não pode optar por sair, visível pelos pares, que liga a identidade à classificação, situa‑se mais próximo de controladora; o mesmo sinal de competência entregue de forma privada e enquadrado como “melhoraste” situa‑se mais próximo de informativo. É por isso que a opcionalidade importa tanto quanto o próprio cálculo da classificação [5].

4. Alternativas cooperativas: a evidência

A meta‑análise de Johnson e Johnson de 1981 (122 estudos, 286 resultados) e uma extensão posterior (148 estudos sobre adolescentes jovens) encontraram que as estruturas de metas cooperativas superam as competitivas e individualistas em termos de desempenho, porque os contextos cooperativos geram apoio entre pares que os contextos competitivos não produzem [6]. Isto apoia diretamente mecânicas de equipa/totais de turma (XP combinado da turma, um total de “liga familiar”) como complemento à classificação individual — metas cooperativas recrutam um canal motivacional que a competição individual não pode.

5. Sistemas de classificação: Elo, Glicko-2, TrueSkill, OpenSkill

Elo: E_A = 1/(1+10^((R_B−R_A)/400)), R_A' = R_A + K·(S_A−E_A). Não há conceito de confiança — uma classificação de 3 jogos é tratada como se fosse de 300 — e é conhecida por divergir/inflar ao longo de longos períodos (a população de xadrez com rating superior a 2700+ cresceu de 1 jogador em 1979 para 44 em 2012) [7].

Glicko-2 adiciona Desvio de Rating (RD), que quantifica a confiança (diminui com o jogo, aumenta com a inatividade), e volatilidade (σ), que quantifica a consistência dos resultados [8]. Jogadores novos começam com RD elevado (implementação de referência: 350) de modo a que os resultados iniciais alterem rapidamente o rating; jogadores estabelecidos com RD baixo mudam lentamente. Um parâmetro tau (τ) (~0,3–1,2) limita a rapidez com que a própria volatilidade varia. O sistema opera em períodos de rating discretos [8].

TrueSkill (Microsoft Research) representa cada jogador como uma Gaussiana (μ, σ), estendendo a classificação Bayesiana a equipas ao somar as competências individuais (potencia o matchmaking do Xbox Live); não consegue detetar trapaças, não lida com desvantagens intencionais e não separa a contribuição individual quando os jogadores formam equipas de forma consistente [9].

OpenSkill é uma alternativa de código aberto, livre de patentes, que implementa aproximações Bayesas de Weng‑Lin (Bradley‑Terry, Plackett‑Luce, Thurstone‑Mosteller), direcionada a emparelhamento assimétrico de múltiplas equipas [10].

Adequado para uma aplicação de aprendizagem: Math Challenge é fundamentalmente um jogo de um único utilizador contra o conteúdo, mais próximo do domínio original do Glicko-2 (indivíduos, jogo irregular, necessidade de medida de confiança) do que do domínio de equipas do TrueSkill/OpenSkill. O Glicko-2 adapta‑se melhor; a maquinaria de soma de equipas resolve um problema (competição por equipas) que atualmente não é necessário, acrescentando complexidade real.

6. Comparação justa entre níveis de dificuldade muito diferentes

Somar ingenuamente pontos brutos recompensa quem responde mais rapidamente aos problemas mais fáceis — exatamente o que plataformas de programação competitiva como a Codeforces evitam: “a velocidade na resolução de problemas mais fáceis costuma ser decisiva” é assinalada como uma distorção de pontuação conhecida, corrigida na prática ao classificar o desempenho em relação a oponentes com rating conhecido em vez de um valor fixo de pontos por problema [11].

O princípio generalizável é a Teoria de Resposta ao Item (IRT): em vez de contagens brutas de respostas corretas, a IRT estima conjuntamente a capacidade de uma pessoa (θ, um traço latente, padronizado com média 0 e DP 1) e a dificuldade (b) e discriminação (a) de cada item, através de um modelo logístico p(θ) = c + (1−c)/(1+e^(−a(θ−b))) [11]. Duas pessoas que responderam a itens completamente diferentes e com dificuldades distintas situam‑se na mesma escala de capacidade — exatamente o problema “criança de 6 anos vs. doutorando” que o quadro global precisa resolver. A IRT também sustenta testes adaptativos, onde cada item é escolhido para ser maximamente informativo na estimativa atual de capacidade do testado [11].

Um precedente não digital é o World Handicap System do golfe: Course Handicap = (Handicap Index × Slope Rating)/113 + (Course Rating − Par), onde o Slope Rating (55–155) captura o quão mais difícil é um campo para um jogador de bogey comparado com um jogador scratch — normalizando simultaneamente a habilidade do jogador e a dificuldade da tarefa, o mesmo tipo de problema que comparar a pontuação de adição de uma criança com a pontuação de topologia de um adulto [12].

7. Anti‑inflação e reinicializações de temporada

Os sistemas da família Elo divergem à medida que as populações crescem; sistemas reais contrabalançam isto com recalibração periódica e ancorando a mediana da população (a Lichess relata que a sua mediana permanece perto de 1500 sem deriva significativa a longo prazo) [8]. O RD do Glicko-2 fornece uma ferramenta anti‑inflação complementar gratuitamente: um rating não exercido torna‑se automaticamente mais incerto, pelo que um score antigo não pode permanecer silenciosamente inflado — cada reentrada na competição reavalia o número.

8. Sandbagging e smurfing

Sandbagging (desempenho deliberadamente inferior para enfrentar adversários mais fáceis) e smurfing (um jogador habilidoso numa conta nova e com rating baixo) são modos de falha bem documentados do emparelhamento por habilidade em geral. O sandbagging costuma ser detetado por uma variância de resultados anormalmente alta em relação ao histórico; o smurfing é inerente a atribuir a novas contas ratings baixos/neutros com alta incerteza, pois uma conta nova habilidosa vence rapidamente antes que o seu RD colapse e o rating verdadeiro a alcance. Nenhum dos dois pode ser resolvido apenas pela fórmula — sistemas reais combinam convergência rápida de RD/σ com deteção de anomalias fora do próprio rating.

9. Como os produtos nomeados lidam com a competição infantil

10. Críticas nomeadas que vale a pena levar a sério

A crítica académica publicada sobre a gamificação competitiva na aprendizagem infantil é mais escassa do que a cobertura da indústria sugere: a maioria dos estudos rigorosos encontra efeitos reais mas heterogéneos — grandes ganhos agregados juntamente com efeitos incertos ou negativos concentrados em posições de classificação específicas — e não uma narrativa de “sempre bom/mau”, pedindo repetidamente a medição dos efeitos por subgrupo em vez de média de toda a turma [1][2][3].

Implicações de design para o Math Challenge

  1. Adotar Glicko‑2, não Elo nem TrueSkill, como algoritmo central de classificação. Rastrear (rating μ, RD, volatility σ) por utilizador por faixa‑etária/matéria. Parâmetros iniciais segundo a referência Glicko‑2: rating 1.500, RD 350, σ ≈ 0,06, τ na gama 0,3–0,5 (preferir o extremo inferior — resistir a oscilações voláteis mais do que um servidor de xadrez faria) [8]. Utilizar períodos de classificação curtos (por exemplo, diários), dado o grande número de “partidas” pequenas (problemas) em vez de torneios de vários dias [8].
  2. Não classificar cabeça‑a‑cabeça; classificar contra a dificuldade dos itens, ao estilo IRT. Modelar cada problema com a sua própria dificuldade/discriminação estimada conjuntamente [11]. Uma resposta correta a um item difícil é um sinal muito maior do que a mesma resposta a um item fácil — a correção direta para “quem resolve os problemas mais fáceis mais rapidamente ganha”, uma vez que os totais brutos de pontos nunca entram na comparação.
  3. Normalizar o quadro global com base numa estimativa de capacidade (θ), nunca em pontos brutos ou velocidade. O θ de um/a aluno/a de 6 anos em adição e o θ de um adulto em matemática avançada vivem na mesma escala porque ambos são estimados a partir de respostas a itens calibrados separadamente — o mesmo princípio que o Handicap de Curso no golfe [12]. Ordenar o quadro global por θ (ou por uma transformação limitada dele), não por XP ou contagem de resoluções.
  4. Manter quadros por faixa‑etária e o quadro global, mas ordenar o quadro global na mesma escala normalizada de θ. Os quadros por faixa‑etária podem mostrar métricas mais simples e adequadas à idade (estrelas, rachas); a classificação baseada em θ fica reservada para a camada que pretende ser genuinamente comparável entre idades.
  5. Promoção/demissão nas ligas: manter o tamanho de grupo da Duolingo de ~30 pessoas; tornar a demissão suave. Promover a faixa superior (por exemplo, top 15‑20 %) semanalmente; demitir apenas a faixa mais baixa (por exemplo, bottom 10 %), e nunca demitir quem esteve ativo menos de N dias naquela semana — a inatividade deve congelar, não punir, direcionando diretamente a constatação de “os mais baixos desengajam” [1][2].
  6. Proteger estruturalmente os 20 % mais baixos, não apenas por cópia. Como a parte inferior de qualquer grupo experimenta comparação ascendente constante [4], oferecer à faixa inferior um sinal privado, não comparativo (“melhoraste X % esta semana” em relação ao teu próprio histórico) em vez de apenas um ranking público — reformular o feedback de comparativo para informativo [5].
  7. Nunca mostrar por defeito o número literal da última posição a uma criança. O dano empírico concentra‑se na parte mais baixa [1][2]; mostrar bandas “metade superior / não metade superior” em vez de ranking exato para níveis mais jovens, reservando o ranking numérico exato ao quadro global (opt‑in) e às faixas etárias superiores.
  8. Tornar o quadro de líderes opcional e reversível. Os utilizadores (ou um pai/educador) devem poder optar por não aparecer no quadro global público enquanto ainda utilizam o modo de ligas/sala de aula, ou vice‑versa, conforme o precedente da Duolingo e o princípio de autonomia da SDT [5][13].
  9. Adicionar uma camada cooperativa ao lado da classificação individual: totais de turma/família. Segundo a evidência de Johnson & Johnson [6], acrescentar uma métrica de total de turma ou total de equipa (respostas corretas combinadas, dias de racha combinados) para o modo de sala de aula que succeed ou falhe em conjunto, recrutando o encorajamento entre pares como um segundo canal motivacional.
  10. Proteger contra sandbagging/smurfing estruturalmente, não por confiança. Novas contas recebem RD/σ elevados, de modo que as vitórias iniciais de um smurf se autocorregem ao longo de algumas sessões [8]. Sinalizar contas com variância de resultados anormalmente alta para revisão, em vez de impedir sandbagging apenas por regra.
  11. Reiniciar as classificações da temporada, mas manter θ/RD/σ persistentes entre temporadas. As classificações públicas semanais das ligas devem reiniciar a cada ciclo; a estimativa privada de capacidade deve persistir e simplesmente recuperar incerteza durante os intervalos — o mesmo mecanismo anti‑inflação usado em sistemas reais, e evita punir uma criança que regressa após uma pausa escolar.
  12. Não deixar que mecânicas de jogo/recompensa ultrapassem o conteúdo de matemática. A crítica documentada à Prodigy refere‑se especificamente a mecânicas de progresso de jogo/monetização que diluem o tempo de prática de matemática [14][15][16]; limitar a fração do tempo de sessão dedicada a loops de jogo não‑matemáticos e mapear cada evento de ganho de ponto/XP a um problema de matemática realmente respondido.
  13. Reportar os efeitos do quadro de líderes por posição de ranking nas próprias análises do Math Challenge. Como a queixa central da literatura é que a maioria dos estudos apenas reporta um efeito médio [1][2][3], instrumentar o produto para rastrear retenção/envolvimento separadamente para utilizadores da faixa superior, média e inferior dentro de cada liga — a única forma de detetar precocemente o padrão “os mais baixos desengajam”.
  14. Para o modo de sala de aula, deixar o professor escolher a intensidade competitiva por sala. Oferecer aos professores um interruptor por sala entre modo individual classificado, modo cooperativo de equipa ou modo de prática com classificação oculta — operacionalizando as descobertas da SDT/aprendizagem cooperativa como um controlo real em vez de uma política global fixa [5][6].

Questões abertas para o proprietário do projeto

  1. O quadro global deve classificar por θ bruto, ou por uma transformação limitada/normalizada (por exemplo, percentil dentro de coorte ajustada por faixa etária) — θ bruto é mais “honesto”, percentil mais legível para uma criança sem necessidade de compreender um número de classificação?
  2. Qual a cadência do período de classificação — diário ou por sessão — que melhor se adequa à frequência de jogo esperada do Math Challenge? Isto afeta a decaída do RD no Glicko‑2.
  3. A demissão deve ser totalmente suspensa para a faixa etária mais jovem, ou a demissão suave (bottom 10 %, apenas ativos) é suficiente para todas as idades?
  4. O interruptor de intensidade competitiva por sala do professor deve ser uma definição única por sala ou ajustável a meio de semana, e a sua alteração reinicia as classificações daquela semana?
  5. Existe interesse em construir “melhorado em relação ao teu próprio histórico” como métrica de primeira classe para a faixa inferior no lançamento, ou isso pode ser deixado para uma iteração posterior?
  6. A dificuldade dos novos itens deve ser semeada a partir do currículo (heurística de nível de série) com refinamento IRT online desde o primeiro dia, ou lançar apenas com currículo e acrescentar calibração IRT quando houver dados de resposta suficientes?

Fontes

  1. Christy, K. R., & Fox, J. (2014). "Leaderboards in a virtual classroom: A test of stereotype threat and social comparison explanations for women's math performance." Computers & Education, 78
  2. "The use of leaderboards in gamified educational settings: A systematic review" (2023)
  3. Meta-analysis of gamification effects on student learning outcomes (41 studies, 5,071 participants)
  4. Festinger, L. (1954). Social comparison theory — overview and later research (upward/downward comparison)
  5. Self-Determination Theory (Deci & Ryan) — official theory site
  6. Johnson, D. W., Maruyama, G., Johnson, R., & Nelson, D. (1981). "Effects of Cooperative, Competitive, and Individualistic Goal Structures on Achievement: A Meta-Analysis."
  7. Elo rating system — formula, K-factor, known inflation issues
  8. Glickman, M. E. "Example of the Glicko-2 system" (official specification)
  9. TrueSkill Ranking System (Microsoft Research project page)
  10. OpenSkill documentation (Weng-Lin Bayesian rating models, open-source TrueSkill alternative)
  11. Item Response Theory — ability parameter, item difficulty/discrimination, logistic model
  12. World Handicap System (golf) — Handicap Index, Course Rating, Slope Rating normalization
  13. "How Duolingo Leaderboards and Leagues Work" (Duolingo blog); group-size/design-rationale detail via case study
  14. Fairplay for Kids — "Prodigy's Losing Equation" (FTC complaint coverage)
  15. NBC News — "Child protection nonprofit alleges manipulative upselling" re: Prodigy
  16. National Education Policy Center — newsletter review of Prodigy-commissioned Johns Hopkins study
  17. Financial Times — coverage of the Prodigy FTC complaint by 20+ advocacy organizations

Perguntas que este documento deixa em aberto

Ficam sem resposta de propósito. São listadas, não resolvidas — transformá-las numa FAQ exigiria inventar respostas que o documento não tem.

Um de 51 documentos de investigação, 168 346 palavras no total, contadas na compilação a partir dos próprios ficheiros. Ler este documento no repositório