Placares e design de competição: efeitos psicológicos, sistemas de rating e comparação justa entre dificuldades
Resumo executivo
- Os leaderboards na educação têm efeitos mistos e dependentes da posição: motivam quem está próximo ao topo, mas desmotivam de forma consistente quem fica na última posição — a revisão sistemática de 2023 sobre leaderboards em ambientes gamificados documenta esse padrão "de cima a baixo" e pede medir o efeito por posição, não apenas pela média da turma [1][2].
- A teoria da comparação social de Festinger (1954) explica o mecanismo: comparar "para cima" pode motivar ou deprimir conforme a autoestima prévia; comparar "para baixo" protege o ânimo, mas não ensina nada. Um leaderboard sem design cuidadoso maximiza a comparação para cima para a maioria do grupo [4].
- Christy e Fox (2014), em uma sala de aula virtual, descobriram que o componente de comparação social (o ranking) pesou mais que a ameaça ao estereótipo no desempenho matemático de mulheres — o ranking em si altera o resultado, não apenas o conteúdo [1].
- A teoria da autodeterminação (Deci e Ryan) prevê que a competição percebida como controladora desloca a motivação intrínseca; por isso é importante que a participação no ranking seja opcional [5].
- A meta-análise de Johnson e Johnson (1981, 122+ estudos) encontra que as estruturas cooperativas superam consistentemente as competitivas e individualistas em desempenho e em relações entre pares [6].
- Glicko-2 (com desvio de classificação RD e volatilidade σ) é mais apropriado que o Elo simples para um jogo com sessões irregulares como o Math Challenge; TrueSkill/OpenSkill resolvem um problema de equipes que este projeto ainda não tem [7][8][9][10].
- Para comparar uma criança de 6 anos somando com um adulto em tópicos avançados, a solução correta é uma escala de habilidade (θ) estimada independentemente de quais itens foram respondidos — a abordagem da Teoria de Resposta ao Item (TRI), e o que o Codeforces aproxima ao classificar o desempenho relativo ao adversário, não o valor nominal do problema [11].
- O sistema de ligas do Duolingo (grupos semanais de ~30 com promoção/rebaixamento) é a referência mais próxima ao design já decidido para o Math Challenge; o tamanho pequeno do grupo é intencional: mantém uma posição alcançável para qualquer pessoa naquela semana [13].
- O "sandbagging" (reduzir o desempenho de propósito) e o "smurfing" (contas novas para jogar abaixo do nível real) são falhas conhecidas de qualquer pareamento por habilidade; são mitigados com RD/volatilidade alta em contas novas, não com regras manuais.
- O Prodigy Math recebeu críticas documentadas (reclamação à FTC de 20+ organizações, cobertura da NBC News e do Financial Times) por mecânicas de jogo que diluem o conteúdo matemático real — advertência direta contra deixar que a camada de jogo devore a aprendizagem [14][15][16].
Este documento foi traduzido do original em inglês por Claude (Anthropic) e verificado automaticamente contra a fonte: cada número, URL, marcador de citação e marca [unverified] corresponde ao original. A prosa em si ainda não foi revisada por um editor humano nativo.
Estado de verificação
Este documento não traz nenhuma marca [unverified]. Cada afirmação está ligada a uma fonte numerada abaixo.
[unverified] significa que a afirmação está na pesquisa mas não foi confirmada contra uma fonte primária na sessão que a produziu. É publicada em vez de removida, porque um corpus que esconde suas lacunas não é verificável.
Como esta pesquisa foi produzida
Os 47 documentos foram produzidos em 2026-07-31 por agentes independentes, cada um com instrução de não inventar citações e de marcar como [unverified] o que não pudesse confirmar contra uma fonte primária. A cota de busca na web da sessão se esgotou no meio do caminho e os agentes seguintes trabalharam por download direto de fontes primárias. Vários sites (ftc.gov, ico.org.uk) bloqueiam download automatizado, e por isso certas afirmações jurídicas estão marcadas de propósito.
Isto é pesquisa, não aconselhamento jurídico, médico ou financeiro. Nada aqui reivindica um resultado de aprendizagem do Math Challenge; esse estudo ainda não existe.
Resultados
1. Placar em educação: quem eles motivam, quem desmotivam
A revisão sistemática de 2023 “The use of leaderboards in gamified educational settings” apresenta a constatação central como dependente da posição, não uniforme: a resposta do aprendiz depende fortemente de onde ele se posiciona no placar [2]. Um estudo de 2025 sobre feedback baseado em placar argumenta por “maneiras mais padronizadas de examinar efeitos potenciais”, porque pesquisas anteriores misturaram resultados positivos e nulos ao invés de separar os desempenhos superior, médio e inferior [2]. O estudo de Christy e Fox (2014) constatou que uma manipulação de comparação social (um placar ranqueado) teve efeito mais forte no desempenho em matemática do que a ameaça ao estereótipo, e alguns participantes que tiveram pior desempenho sob pressão de comparação ainda relataram maior identificação acadêmica — efeitos comportamentais e de motivação sentida podem divergir [1]. Uma meta-análise mais ampla de 41 estudos de gamificação (5.071 participantes) encontrou um grande efeito agregado (g = 0,822) mas não pôde isolar efeitos específicos de placar em desempenhadores inferiores — uma média positiva não significa que toda posição de ranking beneficie igualmente [3]. Conclusão de design: placares aumentam o engajamento em média, ao mesmo tempo que concentram risco real de dano na base, invisível a menos que medido por posição.
2. Teoria da comparação social e crianças
A teoria de Festinger (1954) sustenta que as pessoas avaliam suas habilidades comparando-se com outras, especialmente na ausência de um parâmetro objetivo [4]. A comparação ascendente (com alguém melhor) pode motivar pessoas com alta autoestima, mas desmoralizar aquelas que já duvidam de si; a comparação descendente protege o humor sem gerar ganho de aprendizado [4]. Crianças geralmente têm autoestima menos estável que adultos, e um placar permanente, sempre voltado para cima — onde a criança mediana sempre vê pessoas à frente e nunca recebe contexto tranquilizador — favorece estruturalmente a comparação ascendente que a teoria aponta como desmoralizante para indivíduos com baixa confiança.
3. Teoria da autodeterminação: competição como controle vs. informativa
A teoria da autodeterminação (Deci & Ryan) organiza a motivação em torno de autonomia, competência e relacionamento, em um espectro de controlado a autônomo [5]. O efeito da competição depende de ser percebida como feedback informativo sobre a própria competência crescente, ou como pressão controladora para superar os outros. Um placar ao qual a criança não pode optar por não participar, visível aos pares, vinculando identidade ao ranking, situa-se mais próximo do controle; o mesmo sinal de habilidade entregue privadamente e enquadrado como “você melhorou” situa-se mais próximo do informativo. Por isso, a opcionalidade importa tanto quanto o cálculo do ranking em si [5].
4. Alternativas cooperativas: a evidência
A meta-análise de Johnson e Johnson (1981) (122 estudos, 286 achados) e uma extensão posterior (148 estudos com adolescentes iniciais) encontraram que estruturas de metas cooperativas superam as competitivas e individualistas em desempenho, porque ambientes cooperativos geram apoio entre pares que contextos competitivos não oferecem [6]. Isso sustenta diretamente mecânicas de equipe/total da classe (XP combinada da classe, “liga familiar” total) como complemento ao ranking individual — metas cooperativas recrutam um canal motivacional que a competição individual não pode.
5. Sistemas de classificação: Elo, Glicko-2, TrueSkill, OpenSkill
Elo: E_A = 1/(1+10^((R_B−R_A)/400)), R_A' = R_A + K·(S_A−E_A). Não há conceito de confiança — uma classificação de 3 partidas é tratada como a de 300 — e é conhecido por drifar/inflar em horizontes longos (a população de xadrez acima de 2700+ cresceu de 1 jogador em 1979 para 44 em 2012) [7].
Glicko-2 adiciona Rating Deviation (RD), quantificando confiança (encolhe com jogo, cresce com inatividade), e volatilidade (σ), quantificando consistência dos resultados [8]. Novos jogadores começam com RD alto (implementação de referência: 350) de modo que resultados iniciais movam a classificação rapidamente; jogadores estabelecidos com RD baixo movem-se lentamente. Um parâmetro tau (τ) (~0,3–1,2) restringe a velocidade de mudança da própria volatilidade. Ele opera sobre períodos de classificação discretos [8].
TrueSkill (Microsoft Research) representa cada jogador como uma Gaussiana (μ, σ), estendendo a classificação Bayesiana a equipes somando habilidades individuais (potência do matchmaking do Xbox Live); não detecta trapaças, não lida com handicaps intencionais e não separa contribuição individual quando jogadores se unem consistentemente [9].
OpenSkill é uma alternativa de código aberto, livre de patentes, que implementa aproximações Bayesianas de Weng-Lin (Bradley-Terry, Plackett-Luce, Thurstone-Mosteller), direcionada a matchmaking assimétrico de múltiplas equipes [10].
Adequação para um app de aprendizagem: Math Challenge é fundamentalmente single-player-against-content, mais próximo do domínio original do Glicko-2 (indivíduos, jogo irregular, necessidade de medida de confiança) do que dos domínios de equipe do TrueSkill/OpenSkill. Glicko-2 se encaixa melhor; a maquinaria de soma de equipe resolve um problema (competição em equipe) que atualmente não é necessário, acrescentando complexidade real.
6. Comparação justa entre níveis de dificuldade extremamente diferentes
Somar pontuações brutas recompensa quem responde mais questões fáceis rapidamente — exatamente o que plataformas de programação competitiva como Codeforces evitam: “a velocidade na resolução de problemas mais fáceis costuma ser decisiva” é apontada como distorção conhecida de pontuação, corrigida na prática ao classificar desempenho relativo a oponentes de classificação conhecida ao invés de valor fixo por problema [11].
O princípio generalizável é Teoria de Resposta ao Item (IRT): ao invés de contagens brutas corretas, a IRT estima conjuntamente a habilidade de uma pessoa (θ, traço latente, padronizado com média 0, DP 1) e a dificuldade (b) e discriminação (a) de cada item, via modelo logístico p(θ) = c + (1−c)/(1+e^(−a(θ−b))) [11]. Duas pessoas que responderam itens completamente diferentes, com dificuldades distintas, chegam à mesma escala de habilidade — exatamente o problema “criança de 6 anos vs. PhD” que o placar global precisa resolver. A IRT também fundamenta testes adaptativos, onde cada item é escolhido para ser maximamente informativo na estimativa atual de habilidade do testado [11].
Um precedente não digital é o World Handicap System do golfe: Course Handicap = (Handicap Index × Slope Rating)/113 + (Course Rating − Par), onde Slope Rating (55–155) captura o quão mais difícil o campo é para um jogador bogey comparado a um scratch — normalizando simultaneamente habilidade do jogador e dificuldade da tarefa, a mesma forma de problema ao comparar a pontuação de adição de uma criança com a pontuação de topologia de um adulto [12].
7. Anti-inflação e reinicializações de temporada
Sistemas da família Elo tendem a drifar à medida que a população cresce; sistemas reais contrabalançam isso com recalibração periódica e ancorando a mediana da população (Lichess relata que sua mediana permanece perto de 1500 sem drift significativo a longo prazo) [8]. O RD do Glicko-2 oferece uma ferramenta anti-inflação complementar gratuitamente: uma classificação não exercida automaticamente se torna mais incerta, de modo que uma pontuação antiga não pode permanecer silenciosamente inflada — cada retorno à competição retesta o número.
8. Sandbagging e smurfing
Sandbagging (desempenho deliberadamente baixo para enfrentar oponentes mais fáceis) e smurfing (jogador habilidoso em conta nova, de classificação baixa) são modos de falha bem documentados de matchmaking de habilidade em geral. Sandbagging costuma ser detectado por variância de resultados incomumente alta em relação ao histórico; smurfing é inerente a conceder a novas contas classificações baixas/neutras com alta incerteza, já que uma conta nova habilidosa vence rapidamente antes que seu RD colapse e a classificação verdadeira a alcance. Nenhum deles é resolvido apenas pela fórmula — sistemas reais combinam convergência rápida de RD/σ com detecção de anomalias fora da própria classificação.
9. Como produtos nomeados lidam com competição infantil
- Duolingo: ligas semanais de ~30 aprendizes agrupados por nível de atividade/horário, ranqueados por XP, promoção dos melhores e rebaixamento dos piores, torneio de eliminação de elite e opção completa de sair do placar [13].
- Khan Academy: pontos de energia e sistema de distintivos em cinco níveis para habilidades/vídeos/desafios; placares existem para várias métricas, mas a ênfase está em pontos/distintivos como reconhecimento de esforço e domínio.
- Zearn: explicitamente baseado em domínio e não competitivo — lições são liberadas por um “Tower of Power” de verificação de domínio ao invés de superar pares, sem placar em sua documentação de design; a justificativa declarada é equidade e ritmo individualizado.
- Prodigy Math: progresso de jogo e moeda in-game sobre conteúdo de matemática; recebeu reclamação da FTC de mais de 20 organizações de defesa de crianças (cobertura do Financial Times, NBC News) alegando práticas de marketing manipulativas, enganosas e upselling direcionadas a crianças, e revisão da NEPC concluindo que o estudo comissionado pela Prodigy e Johns Hopkins “não sustenta” as alegações de resultados de aprendizagem da empresa [14][15][16].
- Mathletics / Live Mathletics (3P Learning): realiza grandes competições cronometradas (“World Maths Day”) e modo “Live Mathletics” em tempo real; mecânicas detalhadas não foram acessíveis independentemente e devem ser tratadas como não confirmadas.
10. Críticas nomeadas que vale a pena levar a sério
A crítica acadêmica publicada sobre gamificação competitiva na aprendizagem infantil é mais escassa do que a cobertura da indústria sugere: a maioria dos estudos rigorosos encontra efeitos reais porém heterogêneos — grandes ganhos agregados ao lado de efeitos incertos ou negativos concentrados em posições de ranking específicas — não uma narrativa “sempre boa/má”, e repetidamente pedem a medição de efeitos por subgrupo ao invés de média da classe inteira [1][2][3].
Implicações de design para o Math Challenge
- Adote Glicko-2, não Elo ou TrueSkill, como o algoritmo central de classificação. Acompanhe
(rating μ, RD, volatility σ)por jogador por faixa de série/disciplinas. Parâmetros iniciais conforme a referência Glicko-2: rating 1500, RD 350, σ ≈ 0,06, τ na faixa 0,3–0,5 (prefira o extremo baixo — resista a oscilações voláteis mais do que um servidor de xadrez faria) [8]. Use períodos curtos de classificação (por exemplo, diário), dado o grande número de “partidas” pequenas (problemas) em vez de torneios de vários dias [8]. - Não classifique confrontos diretos; classifique contra a dificuldade dos itens, estilo IRT. Modele cada problema com sua própria dificuldade/discriminação estimada conjuntamente [11]. Uma resposta correta em um item difícil gera um sinal muito maior que em um item fácil — a correção direta para “quem resolve os problemas mais fáceis mais rápido vence”, já que totais brutos de pontos nunca entram na comparação.
- Normalize o placar global com base em uma estimativa de habilidade (θ), nunca em pontos brutos ou velocidade. O θ de adição de uma criança de 6 anos e o θ de matemática avançada de um adulto vivem na mesma escala porque ambos são estimados a partir de respostas a itens calibrados separadamente — o mesmo princípio do Handicap de Curso no golfe [12]. Classifique o placar global por θ (ou por uma transformação limitada dele), não por XP ou número de resoluções.
- Mantenha os placares por faixa de série e o placar global, mas classifique o placar global na mesma escala θ normalizada. Os placares por faixa podem mostrar métricas mais simples e adequadas à idade (estrelas, sequências); o ranking baseado em θ fica reservado para a camada que realmente deve ser comparável entre idades.
- Promoção/demissão nas ligas: mantenha o tamanho de grupo de ~30 pessoas do Duolingo; torne a demissão suave. Promova a faixa superior (por exemplo, top 15-20%) semanalmente; demita apenas a faixa mais baixa (por exemplo, bottom 10%), e nunca demita quem esteve ativo menos que N dias naquela semana — a inatividade deve congelar, não punir, mirando diretamente a constatação de “os de baixo se desengajam” [1][2].
- Proteja estruturalmente os 20% inferiores, não apenas por cópia. Como a base de qualquer grupo vivencia comparação ascendente constante [4], ofereça à faixa inferior um sinal privado, não comparativo (“você melhorou X% esta semana” em relação ao seu próprio histórico) em vez de apenas ranking público — reformulando o feedback de comparativo para informativo [5].
- Nunca mostre o número literal de último lugar a uma criança por padrão. O dano empírico concentra-se na base [1][2]; mostre faixas “metade superior / não metade superior” em vez de ranking exato para níveis mais jovens, reservando o ranking numérico exato para o placar global (opt-in) e faixas de série mais avançadas.
- Torne o placar opcional e reversível. Usuários (ou um pai/educador) devem poder optar por não participar do placar global público enquanto ainda utilizam ligas/modo de sala de aula, ou vice-versa, conforme o precedente do Duolingo e o princípio de autonomia da SDT [5][13].
- Adicione uma camada cooperativa ao lado do ranking individual: totais de classe/família. Conforme evidência de Johnson & Johnson [6], adicione uma métrica de total de classe ou equipe (respostas corretas combinadas, dias de sequência combinados) para o modo de sala de aula que succeed ou falhe em conjunto, recrutando o incentivo entre pares como um segundo canal motivacional.
- Previna sandbagging/smurfing estruturalmente, não por confiança. Novas contas recebem RD/σ altos, de modo que as vitórias iniciais de um smurf se autocorregem em poucas sessões [8]. Marque contas com variância de resultados anormalmente alta para revisão, em vez de impedir sandbagging apenas por regra.
- Reinicie as classificações da temporada, mas mantenha θ/RD/σ persistentes entre temporadas. As classificações públicas semanais das ligas devem ser reiniciadas a cada ciclo; a estimativa privada de habilidade deve persistir e simplesmente recuperar incerteza durante lacunas — o mesmo mecanismo anti-inflação usado por sistemas reais, evitando punir uma criança que retorna após um recesso escolar.
- Não deixe mecânicas de jogo/recompensa ultrapassarem o conteúdo de matemática. A crítica documentada ao Prodigy refere-se especificamente a mecânicas de progresso/monetização que diluem o tempo de prática de matemática [14][15][16]; limite a fração do tempo de sessão em loops de jogo não-matemáticos e associe cada ponto/evento de ganho de XP a um problema de matemática realmente respondido.
- Reporte os efeitos do placar por posição de ranking nas próprias análises do Math Challenge. Como a queixa central da literatura é que a maioria dos estudos relata apenas um efeito médio [1][2][3], instrumente o produto para rastrear retenção/engajamento separadamente para usuários da faixa superior, média e inferior dentro de cada liga — a única forma de detectar cedo o padrão “os de baixo se desengajam”.
- Para o modo de sala de aula, deixe o professor escolher a intensidade competitiva por sala. Ofereça aos professores um interruptor por sala entre modo individual ranqueado, modo cooperativo em equipe ou modo de prática com ranking oculto — operacionalizando as descobertas da SDT/aprendizagem cooperativa como um controle real, em vez de uma política global fixa [5][6].
Perguntas abertas para o dono do projeto
- O placar global deve ser classificado por θ bruto ou por uma transformação limitada/normalizada (por exemplo, percentil dentro de coorte ajustada por série) — θ bruto é mais “honesto”, percentil mais legível para uma criança sem exigir que ela compreenda um número de classificação?
- Qual cadência de período de classificação — diário ou por sessão — se adequa à frequência de jogo esperada do Math Challenge? Isso ajusta a decadência do RD no Glicko-2.
- A demissão deve ser totalmente suspensa para a faixa de série mais jovem, ou a demissão suave (bottom 10%, apenas ativos) é suficiente para todas as idades?
- O interruptor de intensidade competitiva por sala do professor deve ser uma configuração única da sala ou ajustável no meio da semana, e mudar essa configuração reinicia a classificação daquela semana?
- Há interesse em construir “melhorado em relação ao seu próprio histórico” como métrica de primeira classe para a faixa inferior no lançamento, ou isso fica para uma iteração posterior?
- A dificuldade de novos itens deve ser semeada pelo currículo (heurística de nível de série) com refinamento online de IRT desde o primeiro dia, ou lançar apenas com currículo e adicionar calibração IRT quando houver dados de resposta suficientes?
Fontes
- Christy, K. R., & Fox, J. (2014). "Leaderboards in a virtual classroom: A test of stereotype threat and social comparison explanations for women's math performance." Computers & Education, 78
- "The use of leaderboards in gamified educational settings: A systematic review" (2023)
- Meta-analysis of gamification effects on student learning outcomes (41 studies, 5,071 participants)
- Festinger, L. (1954). Social comparison theory — overview and later research (upward/downward comparison)
- Self-Determination Theory (Deci & Ryan) — official theory site
- Johnson, D. W., Maruyama, G., Johnson, R., & Nelson, D. (1981). "Effects of Cooperative, Competitive, and Individualistic Goal Structures on Achievement: A Meta-Analysis."
- Elo rating system — formula, K-factor, known inflation issues
- Glickman, M. E. "Example of the Glicko-2 system" (official specification)
- TrueSkill Ranking System (Microsoft Research project page)
- OpenSkill documentation (Weng-Lin Bayesian rating models, open-source TrueSkill alternative)
- Item Response Theory — ability parameter, item difficulty/discrimination, logistic model
- World Handicap System (golf) — Handicap Index, Course Rating, Slope Rating normalization
- "How Duolingo Leaderboards and Leagues Work" (Duolingo blog); group-size/design-rationale detail via case study
- Fairplay for Kids — "Prodigy's Losing Equation" (FTC complaint coverage)
- NBC News — "Child protection nonprofit alleges manipulative upselling" re: Prodigy
- National Education Policy Center — newsletter review of Prodigy-commissioned Johns Hopkins study
- Financial Times — coverage of the Prodigy FTC complaint by 20+ advocacy organizations
Perguntas que este documento deixa em aberto
Ficam sem resposta de propósito. São listadas, não resolvidas — transformá-las em FAQ exigiria inventar respostas que o documento não tem.
- Should the global board rank by raw θ, or by a bounded/normalized transform (e.g., percentile within grade-matched cohort) — raw θ is more "honest," percentile more legible to a child without requiring them to understand a rating number?
- What rating-period cadence — daily or per-session — fits Math Challenge's expected play frequency? This tunes Glicko-2's RD decay.
- Should demotion ever be fully suspended for the youngest grade band, or is soft demotion (bottom 10%, active-only) sufficient across all ages?
- Should the teacher's per-room competitive-intensity toggle be a one-time room setting or adjustable mid-week, and does changing it reset that week's standings?
- Is there appetite to build "improved over your own history" as a first-class metric for the bottom band at launch, or is that scope for a later iteration?
- Should new-item difficulty be curriculum-seeded (grade-level heuristic) with online IRT refinement from day one, or launch curriculum-only and add IRT calibration once enough response data exists?
Um de 51 documentos de pesquisa, 168.346 palavras no total, contadas na compilação a partir dos próprios arquivos. Ler este documento no repositório