A equipa de investigação do Ai2 publicou um novo estudo, intitulado Old Ideas, Novel Problems, que avalia até que ponto os grandes modelos de linguagem conseguem julgar se uma ideia científica é original. Com o trabalho, a organização disponibiliza um benchmark, dados, código e um pipeline automatizado que outros investigadores podem usar para construir novos conjuntos de avaliação. A publicação foi divulgada no blogue da Hugging Face a 27 de outubro de 2026.
O contexto é relevante. O Ai2 tem desenvolvido sistemas de apoio a diferentes fases da descoberta científica, como o DataVoyager, para exploração de dados estruturados, o AutoDiscovery, que gera e testa hipóteses, e o Theorizer, que sintetiza evidência de grandes corpos de literatura. Gerar ideias não basta, porém. Essas ideias têm de trazer algo genuinamente novo, e os sistemas precisam de distinguir uma direção original de uma que apenas reembala trabalho existente. Essa decisão é frequentemente delegada noutro LLM, a que o texto chama juiz de novidade.
Segundo o estudo, não existe uma forma padrão de construir um juiz de novidade. As equipas escolhem o modelo, o prompt, o formato de avaliação, o orçamento de raciocínio e, por vezes, um sistema de recuperação de literatura, e estas escolhas podem alterar significativamente o veredicto. Além disso, estes juízes são muitas vezes validados apenas com artigos escritos por humanos, e não com as ideias geradas por IA que deveriam avaliar.
Para construir o benchmark, a equipa recorreu a avaliações por pares da conferência ICLR 2026. Em vez de usar a aceitação de um artigo como indicador de novidade, extraíram das revisões passagens em que os avaliadores discutiam explicitamente a originalidade da contribuição. Foram criados dois conjuntos de ideias humanas: 154 de elevada novidade, provenientes de artigos aceites no top 10% da sua área e cuja originalidade foi reconhecida sem contestação, e 145 de baixa novidade, de artigos rejeitados no fundo de 10% com críticas à originalidade. Uma verificação separada indicou que um anotador concordou com a polaridade extraída em 47 de 50 casos.
Os resultados apontam para fragilidade. Segundo a publicação, seis juízes baseados em LLM foram testados, incluindo GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6. Num dos testes, alterar apenas algumas palavras num prompt fez variar a exatidão na identificação da ideia mais nova em mais de 50 pontos percentuais. A recuperação de literatura e o raciocínio adicional não melhoram de forma consistente os julgamentos, e dois sistemas de avaliação de novidade desenvolvidos para o efeito tiveram pior desempenho do que uma simples abordagem baseada em prompt com Claude Opus 4.6.
Porque importa
À medida que sistemas de IA passam a propor ideias de investigação, a capacidade de avaliar automaticamente a sua novidade torna-se relevante. Segundo o estudo, a avaliação da novidade está longe de ser fiável, pelo que usar juízes instáveis para filtrar propostas ou orientar a descoberta científica exige cautela. O trabalho oferece ferramentas para estudar o problema, mas mostra que muito continua por resolver.