A IBM Research afirma que a técnica ALTK-Evolve colocou um agente de atendimento baseado em GPT-4.1 acima de todas as entradas de retalho numa captura do ranking do τ²-bench feita a 12 de outubro de 2026. Segundo os resultados publicados no Hugging Face, o agente obteve 67,5% em Pass^4: resolveu as tarefas em quatro tentativas independentes. A empresa diz que o resultado foi alcançado sem atualizar os pesos do modelo.
O método cria uma espécie de manual de procedimentos a partir das tentativas do agente em tarefas de treino. O GPT-4.1 analisa sucessos e falhas e sintetiza regras curtas, como autenticar o cliente antes de alterar uma encomenda ou pedir autorização explícita antes de executar uma ação que atualize a base de dados. As orientações são acrescentadas ao prompt do agente nas conversas seguintes. A equipa afirma que tanto a extração como a aplicação das regras usam o mesmo modelo e não exigem anotação humana.
O τ²-bench, desenvolvido pela Sierra, testa agentes em conversas de apoio ao cliente sujeitas a políticas, ferramentas e objetivos definidos. Um cliente simulado apresenta um pedido; o agente tem de recolher os dados necessários, respeitar as regras e executar ações, como localizar uma encomenda ou emitir um reembolso. A tarefa só conta como resolvida se o estado final da base de dados corresponder ao resultado esperado. A IBM avaliou os domínios de retalho e aviação, embora o destaque do resultado apresentado seja o retalho.
Nos testes descritos, a equipa usou a implementação padrão do benchmark para um agente ReAct, com um ciclo de raciocínio e ação, GPT-4.1 como agente e GPT-5.5 para simular os clientes. Cada tarefa teve quatro ensaios. A alteração ao sistema padrão consistiu em acrescentar as orientações ao prompt; políticas, ferramentas e estrutura do agente permaneceram inalteradas. A IBM diz que as regras foram extraídas de tarefas de treino e aplicadas sem alterações a um conjunto de teste reservado.
A publicação também compara diferentes quantidades de orientação. As regras recebem uma contagem de suporte, correspondente ao número de tarefas distintas de treino de que foram extraídas; uma contagem mais alta indica que a regra surgiu em mais casos. O excerto disponibilizado refere configurações sem regras e com regras de suporte igual ou superior a três, mas não apresenta os resultados completos dessa comparação. A equipa resume a conclusão dizendo que a quantidade adequada de orientação depende do domínio e que o melhor desempenho implica mais tokens, não mais turnos.
A IBM descreve o resultado como uma demonstração de que um agente pode melhorar através de memória aprendida, sem afinação dos pesos, e diz que as orientações também beneficiam agentes que usam modelos de fronteira. São conclusões da própria equipa, não uma avaliação independente. O material fornecido não inclui os valores completos para o domínio da aviação nem detalhes suficientes para comparar custos ou verificar a robustez fora do benchmark.
Porque importa
O trabalho aponta para uma forma de melhorar agentes de atendimento sem voltar a treinar os seus modelos: transformar experiências anteriores em regras reutilizáveis. Se a abordagem se mantiver eficaz fora do benchmark, poderá ajudar a tornar mais consistentes tarefas sujeitas a políticas e ações com consequências, embora os dados disponíveis não permitam avaliar a sua generalização ou custo em produção.