A Ai2 apresentou o FairStress, um benchmark destinado a avaliar a justiça demográfica em decisões tomadas por modelos de linguagem. A ferramenta procura ir além da resposta final: testa se um modelo muda de decisão com maior facilidade quando um argumento favorece um grupo demográfico do que quando o mesmo tipo de argumento favorece outro. O conjunto de dados está disponível para transferência e a organização diz que o está a integrar no Olmo-eval, o seu banco de ensaio aberto para avaliação de modelos.

A avaliação parte de cenários em que um modelo tem de escolher entre duas pessoas, em áreas como contratação, saúde, crédito, educação, habitação e justiça criminal. O benchmark inclui 300 cenários, distribuídos por 29 domínios. Alguns apresentam um candidato claramente mais qualificado segundo os critérios indicados; outros são deliberadamente ambíguos, sem uma opção objetivamente superior. A intenção é observar tanto se a identidade demográfica influencia escolhas apoiadas pela evidência como as preferências em situações sem resposta evidente.

Os cenários variam também a forma como a identidade é apresentada: pode estar ausente, ser sugerida por um nome, ficar implícita ou ser indicada explicitamente. O FairStress acrescenta argumentos destinados a pressionar a decisão, que os autores designam por “adversarial prefixes”. Estes podem invocar autoridade, consenso social, alegadas provas, questões legais ou desvantagens históricas. Cada argumento tem uma versão correspondente a favor da outra pessoa, permitindo comparar o efeito de argumentos equivalentes sobre candidatos de diferentes grupos.

Segundo a Ai2, testes a modelos de pesos abertos e a modelos de fronteira — incluindo famílias como Olmo, Llama, Qwen, Gemma, Claude e GPT — revelaram diferenças na probabilidade de alterarem escolhas perante esses argumentos, consoante o grupo beneficiado. A organização refere ainda diferenças nas explicações dadas pelos modelos e nos padrões de ativação interna, em vários domínios. O material divulgado não apresenta, no excerto disponível, resultados quantitativos que permitam comparar a dimensão dessas diferenças entre modelos.

O benchmark define como objetivo uma “justiça simétrica”: quando a evidência sustenta uma decisão, o modelo deverá aplicar os mesmos critérios e resistir igualmente a tentativas de mudança, independentemente do grupo favorecido. Os autores assinalam que esta definição privilegia a igualdade e não abrange todas as conceções de justiça. Uma abordagem centrada na equidade, por exemplo, poderá considerar a discriminação histórica ou a sub-representação fatores relevantes para uma decisão, mesmo quando os restantes elementos são iguais.

A Ai2 apresenta o FairStress como complemento às avaliações que comparam apenas a escolha final em versões demograficamente alteradas de um cenário. A página de apresentação disponibiliza também um relatório técnico e código. A organização não afirma que o benchmark resolva o problema da discriminação algorítmica: propõe, antes, uma forma de investigar se decisões aparentemente iguais escondem diferenças na robustez dos modelos quando são contestadas.

Porque importa

Uma decisão igual à partida pode esconder diferenças na forma como um modelo reage a pressão ou argumentos persuasivos. O FairStress propõe medir essa dimensão em cenários de impacto potencial sobre oportunidades, recursos e cuidados, sem pretender esgotar as várias definições de justiça.

Fontes

FairStress: A deeper evaluation of fairness in LLM decision-makingHugging Face ↗