Math Challenge
Mais

A ameaça do resolvedor: assistência de IA em matemática em 2026 e o que lhe resiste de facto

mc-31 · Publicado: · por Math Challenge Research · 3219 palavras · 14 fontes citadas

Resumo executivo

Qualquer tarefa reduzível a "um número final, enviado como texto ou foto" já está resolvida pela tecnologia disponível: os solucionadores de consumo (Photomath, Symbolab, Mathway, Microsoft Math Solver, Gauth, Wolfram|Alpha) devolvem uma resposta com passos em segundos para quase todo o currículo da escola primária ao cálculo universitário [4][5][6], e os assistentes gerais (GPT, Gemini, Claude) já ultrapassaram a matemática de competição — o AIME é considerado "saturado" porque os melhores modelos rondam o máximo possível [12] — e, em julho de 2025, um sistema da Google DeepMind alcançou nível de medalha de ouro na Olimpíada Internacional de Matemática a operar de extremo a extremo em linguagem natural, sem traduzir o problema para uma linguagem formal como em 2024 [2][3]. A foto do ecrã quebra quase todas as defesas dentro da aplicação: nunca toca o DOM, o teclado nem a API, pelo que nenhuma medida anti‑cópia ou limite de tempo do cliente a pode ver. O uso pelos estudantes já é maioria e cresce rapidamente: 88 % dos universitários do Reino Unido usaram IA generativa para avaliações em 2025, frente a 53 % em 2024 [1]; nos EUA, o uso de ChatGPT para trabalhos escolares entre adolescentes duplicou de 13 % para 26 % num ano, embora as matemáticas continuem a ser o uso que os próprios adolescentes consideram menos aceitável (29 % a favor, 28 % contra) [10]. Os detectores de texto de IA não são uma saída: são evitáveis com paráfrase simples e penalizam de forma desproporcional quem escreve numa segunda língua [7][8] — não devem ser usados como porta punitiva numa aplicação bilingue. A defesa que realmente funciona não é técnica, mas de conceção da avaliação: pedir o processo em vez da resposta, pedir que se detecte o erro numa solução alheia, exigir uma pergunta de seguimento adaptativa com números diferentes, e usar tarefas de manipulação interativa cuja resposta é um estado de UI, não um texto copiável.

321 palavras

Este documento foi traduzido do original em inglês por Claude (Anthropic) e verificado automaticamente contra a fonte: cada número, URL, marcador de citação e marca [unverified] corresponde ao original. A prosa em si ainda não foi revista por um editor humano nativo.

Estado de verificação

Este documento não traz qualquer marca [unverified]. Cada afirmação está ligada a uma fonte numerada abaixo.

[unverified] significa que a afirmação está na investigação mas não foi confirmada contra uma fonte primária na sessão que a produziu. É publicada em vez de removida, porque um corpus que esconde as suas lacunas não é verificável.

Como esta investigação foi produzida

Os 47 documentos foram produzidos a 2026-07-31 por agentes independentes, cada um com instrução de não inventar citações e de marcar como [unverified] o que não pudesse confirmar contra uma fonte primária. A quota de pesquisa na web da sessão esgotou-se a meio e os agentes seguintes trabalharam por descarregamento directo de fontes primárias. Vários sítios (ftc.gov, ico.org.uk) bloqueiam o descarregamento automatizado, e por isso certas afirmações jurídicas estão marcadas de propósito.

Constatações

1. Resolvedores de matemática para consumidores: capacidade e alcance

Photomath combina um sistema de álgebra computacional com OCR (expandido para reconhecimento de escrita à mão desde 2016) para digitalizar um problema impresso ou manuscrito — incluindo problemas de texto — e produzir uma solução passo a passo em segundos, abrangendo matemática desde o ensino básico até ao universitário: aritmética, álgebra, geometria, trigonometria, estatística e cálculo [4][5]. A escala é grande: em 2021, mais de 220 milhões de descarregamentos e cerca de 2,2 mil milhões de problemas resolvidos por mês [4]. Symbolab anuncia explicitamente a aceitação de “páginas escritas e capturas de ecrã” ao lado de notação digitada e consultas em linguagem natural, cobrindo pré‑álgebra até cálculo, trigonometria, física e estatística, apresentando a saída como passo a passo em vez de apenas resposta [6]. A força do Wolfram|Alpha reside no cálculo simbólico/fechado com entrada livre — muito forte em álgebra canónica, cálculo e resolução de equações, historicamente mais fraco em problemas que exigem análise semântica de um problema de texto ambíguo.

Aplicações que começam pela câmara, como a Gauth (e o Microsoft Math Solver, que adiciona reconhecimento de escrita à mão e gráficos a um pipeline semelhante de OCR + resolvedor), seguem o mesmo padrão: câmara entra, resposta passo a passo sai em segundos, várias com um chat ao vivo de tutor humano ou IA sobreposto para tudo o que o resolvedor automático não analisa corretamente. O ponto comum é que estas ferramentas são mais eficazes exatamente onde os problemas escolares e das aplicações de prática são mais fracos por necessidade de design: problemas únicos, bem definidos, de forma fechada, com uma única resposta final correta.

2. Assistentes de IA gerais: de AIME ao ouro no IMO

Os LLMs de fronteira avançaram através e além do nível de matemática de competição que antes representava um teto significativo. O AIME (um exame olímpico de qualificação nos EUA) está agora listado por pelo menos um monitor de benchmarks como um benchmark “arquivado” ou saturado porque “o desempenho neste benchmark saturou” e os fornecedores deixaram de submeter novas versões a ele, com uma pontuação máxima de 98,12 % registada para o Gemini 3.1 Pro Preview e uma nota de que nove dos dez modelos melhor classificados no ranking são modelos de raciocínio [12]. A geração de provas em linguagem natural ao nível de competição, a fronteira mais difícil, também recuou mais do que o esperado. Em 2024, o AlphaProof e o AlphaGeometry 2 da DeepMind alcançaram 28/42 pontos (padrão de medalha de prata) no IMO, mas apenas depois de os problemas serem traduzidos manualmente para a linguagem formal Lean, e o problema mais difícil exigiu até três dias de computação [3]. Um ano depois, em julho de 2025, uma versão avançada do Gemini com “Deep Think” atingiu 35/42 (padrão de medalha de ouro), resolvendo cinco dos seis problemas perfeitamente, de ponta a ponta em linguagem natural — sem etapa de formalização — dentro do mesmo limite de 4,5‑horas‑por‑sessão que os concorrentes humanos enfrentam [2]. A própria revisão do IMO confirmou que as soluções submetidas eram “completas e corretas”, mas afirmou que “a sua revisão não se estende à validação do nosso sistema, processos ou modelo subjacente” [2] — são artefactos avaliados, não sistemas auditados, e o resultado ainda envolveu curadoria humana substancial de dados de treino e pistas gerais de resolução de problemas [2]. A OpenAI reportou separadamente resultados de nível de medalha de ouro comparáveis para um modelo experimental no mesmo período, embora não tenha sido submetido ao mesmo processo oficial de coordenação do IMO; trate‑se dessa afirmação como direcionalmente consistente com o resultado verificado da DeepMind, e não como uma pontuação auditada independentemente. Onde os modelos gerais ainda falham é na verdadeira fronteira da investigação: o FrontierMath da Epoch AI obtém problemas de matemáticos profissionais em teoria dos números, análise real, geometria algébrica e teoria das categorias, que exigem múltiplas horas de cada especialista, com a tranche “Tier 4” superior a exigir vários dias de esforço especializado — concebida para manter o teste de sistemas de fronteira à medida que benchmarks mais fáceis saturam [11]. Isso está muito acima de tudo o que uma aplicação de prática K‑12/universitária atribuiria, mas importa para a ambição do Math Challenge de alcançar conteúdo a nível de doutoramento: entre um “conjunto de problemas difíceis” e um “problema de investigação aberto”, os resolvedores deixam de ser fiáveis, e essa fronteira vale a pena conhecer com precisão antes de conceber conteúdo de topo.

3. Captura de ecrã multimodal para resposta: por que as câmaras contornam as defesas dentro da aplicação

O mecanismo que torna a maioria dos designs anti‑trapaça dentro da aplicação irrelevante é simples: uma fotografia de um ecrã é um canal fora da banda. Nunca entra no DOM da aplicação, nunca dispara um evento de teclado ou de colar, nunca toca nas suas requisições de rede e é invisível a qualquer defesa ao nível de JavaScript (desativar copiar/colar, ofuscar a fonte, desfocar ao mudar de separador, marca de água, até à maioria das monitorizações no navegador). A foto sai do dispositivo através da câmara e de uma segunda aplicação ou dispositivo — uma superfície que a aplicação de prática não pode instrumentar de forma alguma. Cada resolvedor de consumidor acima está construído exatamente em torno deste fluxo de trabalho — câmara entra, resposta passo a passo sai, em segundos [4][5][6]. A novidade para 2026 é que já não é necessário um passo discreto de “foto, aguardar OCR”: assistentes multimodais ao vivo (partilha de ecrã ou modos contínuos de câmara/visão em GPT, Gemini e produtos comparáveis) permitem ao estudante partilhar um ecrã em tempo real e obter uma resposta falada de forma conversacional, incluindo narração do que fazer a seguir — ler um problema a partir de um ecrã em movimento ou parcialmente oculto, durante a interação. Nenhuma defesa puramente do lado do cliente ou puramente baseada em tempo é durável por si só; as duas respostas que não dependem de “o estudante pode obter uma foto” são (a) exigir um artefacto submetido que não seja uma única cadeia reproduzível — um processo, um estado de manipulação da UI, um diálogo — e (b) tornar uma ida‑e‑volta externa mais custosa, cumulativamente, do que os pontos que gera, através de re‑pedido adaptativo (§6 e Implicações de Design abaixo).

4. Quão disseminado já está o uso de IA entre os estudantes

Este não é um comportamento marginal. A pesquisa da HEPI de dezembro de 2024 com 1.041 estudantes universitários a tempo inteiro no Reino Unido (realizada pela Savanta) encontrou que 92 % usaram alguma ferramenta de IA e 88 % usaram IA generativa especificamente para avaliações, um aumento acentuado face aos 53 % de um ano antes; a poupança de tempo (51 %) e a perceção de melhoria de qualidade (50 %) foram as motivações declaradas, com o medo de acusações de trapaça (53 %) e o risco de alucinações (51 %) como os principais deterrentes — não falta de capacidade ou de consciência [1]. O relatório da Pew Research de janeiro de 2025 (Ipsos, set‑out 2024, n = 1.391 adolescentes dos EUA entre 13 e 17 anos) constatou que 26 % usaram o ChatGPT para trabalhos escolares, o dobro dos 13 % registados em 2023 — e o próprio juízo dos adolescentes sobre a aceitabilidade varia drasticamente segundo a tarefa: 54 % consideram‑a aceitável para pesquisar um tema, mas apenas 29 % para resolver problemas de matemática (28 % consideram‑a inaceitável), e 18 % para redigir ensaios [10]. Essa assimetria importa aqui: a matemática é a disciplina sobre a qual os estudantes estão mais divididos, uma abertura real para um produto cujas superfícies pontuadas/rankeadas podem afirmar credivelmente resistir ao uso casual de resolvedores. O uso entre quem já tem acesso à IA inclina‑se para a procura direta de respostas: a análise da Anthropic de cerca de 575.000 conversas académicas no Claude.ai encontrou Ciência da Computação e STEM fortemente sobre‑representados em relação à matrícula (apenas Ciência da Computação representa 36,8 % das conversas contra 5,4 % dos diplomas nos EUA), e quase metade (~47 %) das conversas eram “Diretas” — a procura de uma resposta ou conteúdo acabado com mínima troca [9]. A distribuição das tarefas inclinou‑se para trabalhos de ordem superior (Criação 39,8 %, Análise 30,2 %) e afastou‑se da memorização (Recordação 1,8 %) [9], consistente com o padrão “deixo a ferramenta raciocinar, eu tomo o output” — precisamente o comportamento que uma aplicação de prática precisa tornar pouco recompensador.

5. A falha dos detectores de texto IA, e o que isso implica

Duas linhas de investigação publicada minam a ideia de que um detector pode bloquear a trapaça de forma fiável. Primeiro, os detectores são demonstravelmente tendenciosos: estudos de detectores GPT revelam que eles “classificam consistentemente amostras de escrita em inglês não‑nativo como geradas por IA, enquanto as amostras nativas são identificadas com precisão”, e as mesmas estratégias simples de prompt que reduzem esse viés também permitem ao utilizador evadir a deteção totalmente — a mesma alavanca corta em ambos os sentidos [7]. Segundo, os detectores são frágeis à evasão adversária em geral: pesquisas que testam a deteção contra textos do ChatGPT e do Claude descobriram que a paráfrase, o espaçamento aleatório e perturbações adversárias “podem reduzir significativamente a eficácia da deteção”, concluindo que os métodos atuais carecem de robustez mesmo contra evasões pouco sofisticadas [8]. A implicação aqui é direta: qualquer campo “explique o seu raciocínio” não pode usar com segurança um detector de IA como um portão automatizado de aprovação/reprovação — fazê‑lo seria trivially evadível e arriscaria sinalizar desproporcionalmente trabalhos genuínos de autores cuja primeira língua seja o espanhol ou outra língua não nativa num produto cujos próprios requisitos exigem uma UX bilingue. A deteção, quando utilizada, deve servir como um sinal suave que alimenta a revisão humana, nunca como um bloqueio automatizado.

6. Conceber respostas que realmente sobrevivam ao contacto com um resolvedor

A linha condutora de todas as mitigações que se mantêm é a mesma: deixar de pontuar um único artefacto final reproduzível e começar a pontuar algo que um resolvedor não possa entregar de uma só vez — um processo com passos intermédios graduados, um juízo sobre o trabalho de outra pessoa, um seguimento adaptativo ao vivo, ou um estado de UI manipulado. Nenhum destes torna um estudante determinado à prova de resolvedores; aumenta as idas‑e‑voltas, o trabalho de transcrição e o custo temporal por ponto ganho — a única alavanca que um PWA de auto‑serviço realmente controla. A tabela e as Implicações de Design abaixo transformam isto num catálogo de construção concreto.

O que sobrevive a um resolvedor

Formato do itemFacilidade com que um resolvedor o derrotaGradabilidade
Resposta final simples (“solve for x”)Trivial — segundos, sucesso quase total [4][5][6]Totalmente auto‑avaliável; formato mais fraco
Problema de palavras de um passoFácil para LLMs multimodais; resolvedores apenas OCR mais fracos, mas a fecharAuto‑avaliável com um analisador
Problema de palavras multi‑passo, sub‑quantidades nomeadasAinda derrotado, mas requer transcrição de todo o problemaAuto‑avaliável por passo; fricção, não imunidade
“Mostre o seu trabalho” / processo completoO resolvedor gera um processo completo para copiar literalmenteNecessita avaliação humana/IA; texto copiado não é detetável de forma fiável [7][8]
“Encontre o erro nesta solução”Mais difícil — o resolvedor tem de avaliar um argumento, não apenas produzir umAuto‑avaliável (qual linha, que erro)
Estimativa / apenas ordem de grandezaFraco isolado — uma resposta exata do resolvedor satisfaz trivialmente um teste de intervaloFácil de auto‑avaliar; combinar com justificação
Manipulação interativa (arrastar ponto, construir gráfico, equilibrar equação)O resolvedor pode descrever o alvo, mas a execução da ação UI ainda necessita do estudanteAvaliado no estado final da UI, não numa cadeia de texto
Resposta múltipla / selecionar‑tudo, distratores de conceção erradaModerado — resolução brute obtém o conjunto, mas distratores direcionados enfraquecem o atalhoTotalmente auto‑avaliável
Seguimento adaptativo (novos números, mesmo método)Forte — detecta “respondido uma vez” vs. “pode repetir”; derrotado apenas ao re‑consultar a cada vezAuto‑avaliável, totalmente controlado pela aplicação
Diálogo socrático de tutor integradoForte vs. capturas de ecrã estáticas; degrada se o texto do resolvedor for coladoNecessita o seu próprio avaliador — mesma corrida armamentista, um nível acima
Defesa oral ao vivo / verificação síncronaMuito forteNecessita pessoal/infra ao vivo; mau ajuste para um PWA de auto‑serviço
Prova original/novel a nível de investigaçãoResiste a resolvedores e a LLMs gerais na verdadeira fronteira [11][2][3]Não avaliável em escala; apenas revisão de especialistas

Implicações de design

  1. Formato padrão de pista/desafio: mostrar uma solução trabalhada com um passo errado, pedir que se indique a linha e o porquê — avaliar um argumento supera a produção de um.
  2. Substituir a caixa de resposta única por um processo estruturado de múltiplos campos (cada operação mais o seu resultado intermédio), avaliado por passo, para que uma resposta final copiada sem passos correspondentes falhe automaticamente.
  3. Re‑pergunta adaptativa obrigatória: seguir a uma resposta correta imediatamente com um problema isomórfico (mesmo método, novos números); “certo uma vez, errado na variante” é um sinal real, sobretudo em modos de classificação/placar.
  4. Itens de resposta múltipla/selecionar‑tudo com distratores construídos a partir de conceções erradas documentadas e específicas do tópico, não de “números próximos”, para que a resolução brute seja um atalho mais fraco ao conjunto completo correto.
  5. Colocar questões de valor exato atrás de um passo de estimativa (pontuar uma resposta de intervalo ou ordem de grandeza antes de revelar a pergunta precisa), recompensando a intuição numérica que um resolvedor não necessita.
  6. Manipuláveis interativos — arrastar um ponto numa linha numérica, colocar pontos para construir um gráfico, mover termos para equilibrar uma equação — avaliados no estado resultante da UI, não num número digitado: o único formato que um resolvedor não pode devolver como cadeia copiável, mesmo que descreva a resposta.
  7. Chat de tutor socrático integrado como caminho principal de procura de pistas, de modo que pedir ajuda produza um diálogo avaliado em vez de uma cadeia extraível de captura de ecrã; pontuar parcialmente a coerência e especificidade das respostas do estudante.
  8. Campo curto “explique com as suas próprias palavras” antes de aceitar uma resposta; usar qualquer sinal de IA‑texto apenas como alerta suave para revisão humana, nunca como bloqueio automatizado, dado o viés dos detectores contra autores não nativos e a evasibilidade por paráfrase [7][8].
  9. Orçamentos de tempo em modo classificado curtos o suficiente para que uma ronda completa externa (fotografia, OCR/resolução, cópia) custe mais do que resolver diretamente; o modo de prática sem limite de tempo permanece a superfície de fricção baixa, não competitiva.
  10. Randomizar parâmetros numéricos no lado do servidor por estudante/tentativa, para que uma captura de ecrã, chave de respostas partilhada ou resultado web em cache não se transfira para outro estudante com o mesmo item.
  11. Ponderar a pontuação para a consistência ao longo de muitos itens pequenos (sequências, portfólios) em vez de itens de alto valor único, reduzindo o retorno de resolver um único item com ajuda externa.
  12. Auto‑avaliação de confiança (1‑5) ao lado de cada resposta; confiança alta descalibrada com raciocínio incompatível é um sinal útil e não punitivo.
  13. Dividir a narrativa de integridade por modo: a prática não faz alegação de resistência a resolvedores; o modo classificado/placar concentra seguimentos adaptativos, avaliação de processos e temporizadores curtos, pois é a superfície cuja integridade importa a outros utilizadores.
  14. Encaminhar itens “produzir uma prova novel” adjacentes a doutoramento para revisão humana ou por pares assíncrona, em vez de auto‑avaliação — o único formato que ainda resiste tanto a resolvedores de consumo como a modelos de fronteira [11][2][3], e o único formato que ninguém pode auto‑avaliar em escala.

O que não podemos impedir, declarado claramente: qualquer tarefa totalmente especificável como texto simples ou uma única imagem com uma resposta final verificável, submetida sem um processo ou seguimento obrigatório, será resolvida em segundos por ferramentas já amplamente usadas pelos estudantes — porque a foto ou canal de visão ao vivo nunca toca a aplicação. Assistentes multimodais ao vivo corroem ainda mais as defesas baseadas em pressão de tempo, pois o estudante pode obter orientação falada enquanto o ecrã permanece visível em vez de fazer uma ronda completa de captura estática. Nenhum portão baseado em detector é seguro para uso punitivo. Nada disto pode ser corrigido pela engenharia; só pode ser tornado menos recompensador (não a superfície pontuada) ou mais custoso por ponto (design adaptativo). Uma alegação em contrário é marketing, não factos.

Questões abertas para o proprietário do projeto

  1. Devem os modos de classificação/placar impor um teto de tempo rígido por item mais curto que uma ronda típica foto‑e‑resolução — e que acomodação existe para estudantes que realmente precisam de mais tempo?
  2. Quanto do roteiro vai para um tutor socrático interno (custo próprio de LLM, moderação, latência) versus design de itens adaptativos e avaliação de processos sem componente generativo?
  3. O produto deve alguma vez usar sinais de similaridade de texto IA num contexto bilingue EN/ES, dado o viés documentado dos detectores contra autores não nativos — ou essa classe de verificação está excluída por política?
  4. Para conteúdo a nível de doutoramento, a revisão manual/por pares de provas abertas está no âmbito, ou o nível superior permanece confinado a formatos auto‑avaliáveis (crítica de prova, deteção de erro) mesmo que isso limite o quão “doutoramento” pode ser?
  5. O modo de prática deve permitir explicitamente o uso de ferramentas externas como escolha de design declarada, reformulando a narrativa de integridade em torno do modo classificado e da mestria‑sobre‑tempo, em vez de insinuar que as respostas de prática são resistentes a resolvedores quando estruturalmente não podem ser?

Fontes

  1. HEPI, "Student Generative AI Survey 2025"
  2. Google DeepMind, "Advanced version of Gemini with Deep Think officially achieves gold-medal standard at the International Mathematical Olympiad"
  3. Google DeepMind, "AI solves IMO problems at silver medal level"
  4. Wikipedia, "Photomath"
  5. Photomath, official product site
  6. Symbolab, official product site
  7. Liang et al., "GPT detectors are biased against non-native English writers," arXiv:2304.02819
  8. "MGTBench: Benchmarking Machine-Generated Text Detection," arXiv:2303.14822
  9. Anthropic, "Anthropic Education Report: How University Students Use Claude"
  10. Pew Research Center, "About a quarter of U.S. teens have used ChatGPT for schoolwork — double the share in 2023"
  11. Epoch AI, "FrontierMath" benchmark page
  12. Vals AI, AIME benchmark leaderboard
  13. Wolfram|Alpha, official "About" page
  14. Microsoft Education, product overview (Math Solver context)

Perguntas que este documento deixa em aberto

Ficam sem resposta de propósito. São listadas, não resolvidas — transformá-las numa FAQ exigiria inventar respostas que o documento não tem.

Um de 51 documentos de investigação, 168 346 palavras no total, contadas na compilação a partir dos próprios ficheiros. Ler este documento no repositório