A Hugging Face publicou um artigo sobre o XYBench, um benchmark de mais de 8 mil perguntas concebido para medir se os assistentes de inteligência artificial reconhecem quando um pedido assenta numa ideia errada. O trabalho foi desenvolvido com investigadores da Carnegie Mellon, da NVIDIA e da Johns Hopkins, e a equipa indica que venceu o prémio de Melhor Artigo de Recursos na conferência EMNLP 2026. Segundo os autores, o objetivo é avaliar um problema que designam por XY: a pessoa quer alcançar X, assume que uma abordagem Y resolve o caso e pede ajuda apenas com Y.
O exemplo escolhido pelos autores ajuda a perceber a ideia. Alguém pede como engrossar uma cobertura de bolo que escorre das queques, quando o problema real é que as queques ainda estão quentes. Para um assistente útil, a resposta mais valiosa seria identificar esse desvio e encaminhar a pessoa para a causa. O XYBench procura medir precisamente essa capacidade de redirecionar o utilizador para o objetivo verdadeiro, e não apenas para a pergunta formulada.
O conjunto de dados combina 1.557 perguntas do Stack Overflow, 184 do Stack Exchange, 102 exemplos curados manualmente e 6.272 perguntas geradas a partir de guias do WikiHow. Nas fontes da comunidade, a equipa usou as respostas humanas mais votadas e a resposta aceite para estabelecer o objetivo subjacente e as soluções possíveis. Nos guias do WikiHow, recorreu ao Sonnet 4.5 para gerar perguntas em torno de conceções erradas plausíveis, filtrando os casos em que responder ao pedido literal já resolveria o problema.
Para medir a qualidade das respostas, o benchmark analisa três dimensões: se a resposta inclui soluções para o pedido declarado e para o objetivo subjacente, se a ênfase recai sobre um, sobre outro ou se equilibra ambos, e se a resposta afasta o utilizador da abordagem errada. A avaliação automática usa o Claude Sonnet 4.5 como juiz. Para validar essas decisões, dois revisores humanos analisaram 500 respostas, com concordância entre 97,5% e 100% na deteção de soluções, entre 84,6% e 93,3% na identificação de conceções erradas e entre 74,2% e 79,8% na ênfase pragmática. A ênfase pragmática registou, assim, a concordância mais baixa entre os três critérios.
Nos testes, os cinco modelos avaliados foram Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro, numa interação de uma só volta. Em todos os conjuntos, os modelos incluíram com mais frequência uma solução para o pedido declarado do que para o objetivo subjacente. No Stack Overflow, as soluções para o pedido declarado apareceram entre 75% e 86% das respostas, contra 59% a 71% para o objetivo subjacente. Segundo a publicação, as respostas humanas de referência afastavam mais os utilizadores da abordagem errada do que qualquer um dos modelos.
Os resultados sugerem que muitos assistentes conseguem propor uma solução, mas continuam a ancorar a resposta no caminho inicial do utilizador. A Hugging Face apresenta o XYBench como ferramenta para investigadores medirem se futuras melhorias tornam os sistemas melhores a detetar pressupostos errados, a explicar porque é que uma abordagem falha e a sugerir alternativas. Trata-se, para já, de um benchmark de investigação e não de uma medida de desempenho em produtos comerciais.
Porque importa
Para quem usa assistentes de IA em programação, reparações domésticas ou tarefas do dia a dia, o estudo indica que uma resposta pode apresentar uma solução e, ainda assim, deixar o utilizador preso ao pedido inicial. O artigo é uma pesquisa e não indica disponibilidade comercial, preços ou regras aplicáveis em Portugal ou na UE, pelo que não deve ser lido como avaliação de produtos concretos.