Um agente de inteligência artificial pode executar várias chamadas a ferramentas e afirmar que resolveu um pedido sem deixar os sistemas no estado esperado. É essa diferença que o ThinkingBox pretende medir: em vez de avaliar apenas a resposta ou a sequência de ações, verifica o estado final dos dados e os efeitos produzidos. A Microsoft e a Hugging Face anunciaram a disponibilização da ferramenta através da plataforma Hugging Face, num artigo publicado a 3 de outubro de 2026.
O exemplo apresentado no artigo envolve uma encomenda de um eletrodoméstico de 745 dólares, atrasada e retida num centro de distribuição em Nashville. O agente consulta a encomenda, o estado do envio, o perfil da cliente e a política de reembolso, abre um pedido de apoio e regista a cronologia. Porém, encerra o pedido como resolvido, quando o estado exigido era «em espera», apesar de o problema com a transportadora continuar por resolver. A resposta ao cliente também não esclarece efetivamente a questão colocada.
Segundo os autores, uma avaliação baseada apenas nas chamadas a ferramentas poderia considerar a execução competente. A verificação do registo final, pelo contrário, identifica o estado incorreto. O benchmark reúne 507 tarefas com estado persistente, distribuídas por cinco áreas: retalho, seguros automóveis, viagens, banca digital e consultoria. Cada tarefa é executada 20 vezes, em sessões independentes iniciadas a partir de um estado limpo do sistema, para distinguir o desempenho numa tentativa da capacidade de repetir o resultado.
Numa análise comparativa de 12 modelos, com 121 680 tentativas válidas, 79 853 falharam as verificações executáveis. Entre essas falhas, 67,24% terminaram sem erro reportado pela ferramenta e com pelo menos uma ação que alterou o estado. As verificações detetaram valores incorretos em 77,61% dos casos, efeitos adicionais não pretendidos em 43,30% e efeitos necessários em falta em 25,36%. Estas categorias sobrepõem-se, pelo que não devem ser somadas como partes exclusivas do total.
O artigo apresenta três medidas: pass@1, a proporção de tentativas bem-sucedidas; pass@20, que indica se uma tarefa foi resolvida pelo menos uma vez em 20 tentativas; e a contagem observada de tarefas aprovadas nas 20 execuções. Os autores distinguem esta última medida de uma estimativa: trata-se do número literal de tarefas que passaram todas as tentativas registadas. Na tabela de resultados reproduzida no artigo, Claude Opus 5.5 lidera a pontuação global pass@1 entre os modelos proprietários listados, com 67,16%. Esse valor não equivale a uma taxa de sucesso consistente em todas as repetições.
O ThinkingBox foi concebido para funcionar com sessões isoladas de ferramentas MCP e OpenEnv. A publicação inclui instruções para executar o benchmark. Os números e resultados referidos são os apresentados pelos autores; a evidência fornecida não inclui uma avaliação independente. A proposta desloca, assim, parte da avaliação de agentes de IA da qualidade aparente do diálogo para a confirmação dos efeitos concretos nos sistemas empresariais.
Porque importa
A avaliação do estado persistente pode revelar erros que passam despercebidos quando um agente parece competente na conversa, mas altera registos incorretamente ou deixa ações necessárias por concluir.