A IBM Research publicou no Hugging Face um artigo que compara três harnesses de agentes de IA, o CUGA, o Hermes e o Deep Agents, usando sempre o mesmo modelo de pesos abertos. Segundo os autores, a comunidade já reúne quase 200 harnesses, e a questão central não é qual é o melhor em absoluto, mas qual se adapta à carga de trabalho e ao modelo concreto de cada utilizador. A comparação foi feita no benchmark AppWorld, com 90 tarefas organizadas em 30 cenários, e o modelo usado em todas as execuções foi o GLM-5.3-flash.
Os resultados publicados pela IBM mostram o CUGA com 81,1% das tarefas concluídas (73 de 90), o Hermes com 46,7% (42 de 90) e o Deep Agents com 30,0% (27 de 90). Na métrica mais exigente, que só considera um cenário aprovado quando as três variantes passam, o CUGA obteve 66,7% (20 de 30), o Hermes 26,7% (8 de 30) e o Deep Agents 6,7% (2 de 30). Os autores indicam que esta métrica premeia a consistência e não apenas uma execução feliz, e que a diferença é maior nesse critério.
O próprio artigo assinala limitações. A amostra tem 90 tarefas num único benchmark, os resultados podem não generalizar para outras tarefas e as configurações não foram idênticas: o CUGA usou decomposição de tarefas, verificação prévia e reflexão automática, o Hermes usou a configuração padrão do Harbor e o Deep Agents recorreu ao middleware integrado do LangChain. Além disso, as execuções não incluíram políticas, pelo que não medem a aplicação de regras. A IBM reconhece ainda que o AppWorld é um proxy, porque as aplicações testadas são de consumo e não empresariais.
Segundo o texto, a diferença de desempenho está associada a funcionalidades que estiveram ativas na configuração do CUGA, entre elas a divisão da tarefa por aplicação, o acesso apenas às ferramentas de cada passo, a escrita de código Python executado num ambiente restrito com limite de tempo e a verificação de blocos de código que alteram dados antes da execução. O CUGA é descrito como um harness de código aberto da IBM orientado para a automação empresarial, que pode funcionar com modelos de pesos abertos ou alojados, incluindo nuvens soberanas e implementações isoladas da internet.
O Hermes, da Nous Research, é apresentado como adequado a assistentes pessoais permanentes, e o Deep Agents, da LangChain, a tarefas longas e de vários passos, como a investigação. Os autores afirmam que ambos são excelentes nesses trabalhos e que a comparação não é um veredicto sobre nenhum dos dois. Para o contexto empresarial, o artigo sublinha que as ações dos agentes sobre sistemas de negócio, como CRM e pagamentos, devem respeitar regras que se mantêm independentemente da decisão do modelo, algo que este benchmark não testa.
Porque importa
Para as organizações que avaliam agentes de IA, o estudo sugere que o harness pode ser tão relevante como o próprio modelo, embora apenas num caso concreto. Mostra também que comparações entre harnesses devem ser lidas com cautela, porque dependem do benchmark, da configuração e do modelo usados. Como os dados vêm do próprio fabricante e de uma amostra limitada, devem servir de ponto de partida para testes internos antes de qualquer decisão de adoção.