Microsoft e Hugging Face apresentaram uma abordagem de pós-treino para agentes de inteligência artificial que transforma verificações sobre bases de dados em recompensas de aprendizagem por reforço. O método, descrito num artigo publicado a 22 de outubro de 2026, recorre ao ThinkingBox: em vez de avaliar apenas as respostas ou as chamadas a ferramentas, verifica se o estado final do sistema corresponde ao resultado esperado.

A equipa aplicou a técnica ao Qwen3.8-27B, usando GRPO durante 50 passos de treino. Segundo os resultados divulgados pelos autores, a taxa média de sucesso nas tentativas subiu de 51,70% para 60,78%. O número de tarefas concluídas correctamente em todas as 20 tentativas registadas aumentou de 38 para 107, entre 507 tarefas avaliadas. Estes resultados são apresentados pelos próprios responsáveis pelo projecto; a fonte fornecida não inclui uma avaliação independente.

A avaliação distingue três medidas. O pass@1 corresponde à proporção de tentativas bem-sucedidas nas 10 140 execuções — 507 tarefas repetidas 20 vezes. O pass@20 indica quantas tarefas foram resolvidas pelo menos uma vez. Já a medida denominada «Observed 20/20» conta as tarefas que passaram em todas as tentativas observadas. Esta última subiu de 7,50% para 21,10%, enquanto o pass@20 desceu de 453 tarefas, ou 89,35%, para 446, ou 87,97%. Assim, o ganho em consistência foi acompanhado por uma pequena redução na cobertura de tarefas.

Para escolher os exemplos de treino, os autores estimaram uma vez a probabilidade de sucesso do modelo-base em cada tarefa. Seleccionaram depois um conjunto fixo de tarefas com dificuldade relativa à política inicial: tarefas que não estivessem já resolvidas com facilidade nem fossem aparentemente demasiado difíceis para o agente. A ideia é concentrar o treino em problemas que possam ensinar algo ao modelo, embora a dificuldade possa mudar à medida que este aprende.

O ThinkingBox-Bench inclui 507 tarefas com sistemas de backend reais, ferramentas MCP e um utilizador simulado com contexto privado. No final, verificações executáveis comparam os registos da base de dados com o estado esperado, sem exigir que o agente siga uma sequência específica de chamadas. Num exemplo relatado, um agente-base alterou uma reserva e emitiu reembolsos sem a aprovação exigida em 15 de 20 tentativas; após o fine-tuning, manteve os estados da reserva e do pagamento em todas as 20, embora todos os registos esperados tenham coincidido em 19.

A Microsoft e a Hugging Face disponibilizaram o ThinkingBox-Training no GitHub e descrevem no artigo o processo de preparação e execução do treino. Os dados sugerem que verificações sobre resultados concretos podem servir não só para avaliar agentes, mas também para os treinar. No entanto, a descida do pass@20 mostra que uma melhoria na repetibilidade não implica necessariamente resolver mais tarefas distintas.

Porque importa

A abordagem explora resultados verificáveis em sistemas de backend como sinal de treino para agentes que usam ferramentas. Os números divulgados apontam para maior consistência, mas também mostram que essa melhoria pode coexistir com menor cobertura de tarefas.

Fontes

Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBoxHugging Face ↗