Um agente de inteligência artificial pode executar várias chamadas a ferramentas e afirmar que resolveu um pedido sem deixar os sistemas no estado esperado. É essa diferença que o ThinkingBox pretende medir: em vez de avaliar apenas a resposta ou a sequência de ações, verifica o estado final dos dados e os efeitos produzidos. A Microsoft e a Hugging Face anunciaram a disponibilização da ferramenta através da plataforma Hugging Face, num artigo publicado a 3 de outubro de 2026.

O exemplo apresentado no artigo envolve uma encomenda de um eletrodoméstico de 745 dólares, atrasada e retida num centro de distribuição em Nashville. O agente consulta a encomenda, o estado do envio, o perfil da cliente e a política de reembolso, abre um pedido de apoio e regista a cronologia. Porém, encerra o pedido como resolvido, quando o estado exigido era «em espera», apesar de o problema com a transportadora continuar por resolver. A resposta ao cliente também não esclarece efetivamente a questão colocada.

Segundo os autores, uma avaliação baseada apenas nas chamadas a ferramentas poderia considerar a execução competente. A verificação do registo final, pelo contrário, identifica o estado incorreto. O benchmark reúne 507 tarefas com estado persistente, distribuídas por cinco áreas: retalho, seguros automóveis, viagens, banca digital e consultoria. Cada tarefa é executada 20 vezes, em sessões independentes iniciadas a partir de um estado limpo do sistema, para distinguir o desempenho numa tentativa da capacidade de repetir o resultado.

Numa análise comparativa de 12 modelos, com 121 680 tentativas válidas, 79 853 falharam as verificações executáveis. Entre essas falhas, 67,24% terminaram sem erro reportado pela ferramenta e com pelo menos uma ação que alterou o estado. As verificações detetaram valores incorretos em 77,61% dos casos, efeitos adicionais não pretendidos em 43,30% e efeitos necessários em falta em 25,36%. Estas categorias sobrepõem-se, pelo que não devem ser somadas como partes exclusivas do total.

O artigo apresenta três medidas: pass@1, a proporção de tentativas bem-sucedidas; pass@20, que indica se uma tarefa foi resolvida pelo menos uma vez em 20 tentativas; e a contagem observada de tarefas aprovadas nas 20 execuções. Os autores distinguem esta última medida de uma estimativa: trata-se do número literal de tarefas que passaram todas as tentativas registadas. Na tabela de resultados reproduzida no artigo, Claude Opus 5.5 lidera a pontuação global pass@1 entre os modelos proprietários listados, com 67,16%. Esse valor não equivale a uma taxa de sucesso consistente em todas as repetições.

O ThinkingBox foi concebido para funcionar com sessões isoladas de ferramentas MCP e OpenEnv. A publicação inclui instruções para executar o benchmark. Os números e resultados referidos são os apresentados pelos autores; a evidência fornecida não inclui uma avaliação independente. A proposta desloca, assim, parte da avaliação de agentes de IA da qualidade aparente do diálogo para a confirmação dos efeitos concretos nos sistemas empresariais.

Porque importa

A avaliação do estado persistente pode revelar erros que passam despercebidos quando um agente parece competente na conversa, mas altera registos incorretamente ou deixa ações necessárias por concluir.

Fontes

The Agent Said It Was Done. The Database Disagreed.Hugging Face ↗