O Collinear AI publicou a segunda versão do CWE-bench, um conjunto de avaliação centrado nos limites das capacidades de cibersegurança de fronteira. A versão 2 disponibiliza publicamente 100 tarefas que qualquer pessoa pode executar. Cada tarefa entrega ao agente um repositório open-source real e uma instrução curta, com o objetivo de encontrar e corrigir uma fraqueza de segurança sem partir funcionalidades existentes. As tarefas cobrem 91 CWE diferentes, segundo a equipa, o que obriga a compreender várias superfícies de ataque.

A pontuação é programática, portanto determinística e reproduzível sem custos adicionais, segundo os autores. Os verificadores foram curados com a ajuda de painéis de juízes LLM, e cada tarefa passou por verificações: a instrução deve parecer realista, o código inicial deve falhar e a correção de referência deve passar, a funcionalidade original deve continuar a funcionar, e os verificadores devem rejeitar a solução memorizada do patch upstream. Todas as tarefas foram também revistas manualmente. Há ainda um conjunto held-out para acompanhar o progresso em tarefas que nenhum modelo viu, acessível mediante contacto com a equipa.

Os resultados são acompanhados em dois sítios do Hugging Face. O leaderboard do dataset cobre modelos de pesos abertos, enquanto o Space dedicado inclui modelos acessíveis apenas por API, como Gemini, Claude e GPT. Entre os 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% de pass@1 e 81,0% de pass@4, ligeiramente à frente do Claude Opus 5.5, com 67,3% e 78,0%. Pelo menos um modelo resolveu 95 das 100 tarefas, o que indica que são solucionáveis. Ainda assim, o líder falha 19% do conjunto em todas as tentativas.

No plano de custos, a publicação identifica como fronteira de Pareto o DeepSeek V4.1 Flash (1017), o Claude Opus 5.5 e o Gemini 4 Argon. O DeepSeek atinge 57,0% de pass@1 a 0,04 dólares por rollout. O Opus acrescenta cerca de dez pontos percentuais por 1,83 dólares, e o Gemini fica ligeiramente à frente, com 3,92 dólares por rollout. A leitura é, portanto, a de um compromisso entre custo e precisão: quem procura o resultado mais alto paga mais por cada tentativa, enquanto o modelo mais barato fica pouco abaixo do líder em pass@1.

Para executar o benchmark, o Harbor pode lançar a suite diretamente a partir do repositório do Hugging Face, com um comando que faz quatro tentativas por tarefa e reporta a média das 400 execuções. O dataset tem acesso condicionado, pelo que é necessário aceitar as condições de acesso e configurar o token do HF no credential helper do git. As tarefas são também etiquetadas como rl-environment, o que, segundo a publicação, permite usar os mesmos ambientes para treinar agentes defensivos.

Porque importa

Para quem acompanha a cibersegurança e a avaliação de modelos, este benchmark oferece um teste aberto, reproduzível e de baixo custo sobre vulnerabilidades reais em repositórios open-source. A combinação de pontuação programática, verificações de qualidade e um conjunto held-out procura reduzir a possibilidade de memorização. Ao mesmo tempo, a taxa de falhas do líder sugere que a capacidade de encontrar e corrigir fraquezas em código real ainda está longe de estar resolvida.

Fontes

CWE-bench v2: More coverage, quality, and transparencyHugging Face ↗