O Instituto de Segurança de IA do Reino Unido (AISI) anunciou uma parceria estratégica com a coligação EvalEval para promover a transparência e a reprodutibilidade na avaliação de sistemas de inteligência artificial. Esta iniciativa, formalizada a 22 de setembro de 2026, utiliza a infraestrutura da EvalEval para publicar resultados de testes de forma estruturada, permitindo que a comunidade científica verifique e interprete os dados com maior rigor. A colaboração baseia-se no esquema 'Every Eval Ever' (EEE), uma norma desenvolvida para unificar a documentação de resultados que, até agora, surgiam dispersos por múltiplos formatos e plataformas.
A necessidade desta padronização surge num momento em que a avaliação de modelos de fronteira se tornou um pilar fundamental para a segurança tecnológica, mas frequentemente carece de detalhes técnicos essenciais para a sua replicação. Segundo o AISI, a falta de informação sobre as condições de teste torna a comparação entre modelos um exercício complexo e, por vezes, pouco fiável. Ao adotar os 'Evaluation Cards', o instituto pretende fornecer não apenas os resultados finais, mas também o contexto, a configuração e os métodos utilizados, facilitando a análise diagnóstica e a compreensão de como diferentes protocolos influenciam o desempenho dos sistemas.
Nesta fase inicial, o AISI disponibilizou dados detalhados relativos a cinco benchmarks de referência, incluindo o HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro e Terminal-Bench 2.0. Estes resultados abrangem uma gama de modelos de última geração, como as versões Claude Opus 4, 4.5 e 4.6, bem como as variantes GPT-5, 5.2 e 5.4. A publicação acompanha o estudo técnico intitulado 'How Inference Compute Shapes Frontier LLM Evaluation', que explora a correlação entre o poder computacional de inferência e a eficácia dos protocolos de avaliação adotados.
Além dos benchmarks principais, a iniciativa inclui resultados de avaliações de cibersegurança, especificamente os Cyber CTFs e o projeto 'The Last Ones'. A disponibilização pública destes dados permite que investigadores externos examinem as escolhas metodológicas que podem enviesar os resultados reportados. Ao oferecer pontos de referência verificados, o AISI espera estabelecer um padrão que outros avaliadores possam seguir, mitigando a opacidade que tem caracterizado a investigação nesta área e permitindo uma meta-análise mais robusta sobre o estado atual da tecnologia.
A coligação EvalEval, que lidera este esforço, sublinha que o objetivo final é criar um ecossistema de avaliação cientificamente fundamentado. A adoção do esquema EEE por parte de uma entidade governamental como o AISI representa um passo significativo para a normalização do setor. O convite é agora alargado a outros programadores de modelos e investigadores de políticas públicas, para que contribuam para esta infraestrutura partilhada, garantindo que as métricas de desempenho sejam interpretáveis e comparáveis, independentemente das condições em que foram originalmente obtidas.
Porque importa
A reprodutibilidade é essencial para a segurança da IA. Sem normas comuns, é impossível comparar validamente o desempenho de modelos de fronteira, o que dificulta a tomada de decisões políticas e a investigação científica independente sobre os riscos e capacidades destas tecnologias.