Investigadores da OpenAI propõem duas métricas complementares para avaliar monitores de comportamento de agentes de inteligência artificial. O trabalho, publicado no blogue de investigação da empresa a 20 de outubro de 2026, procura tornar mais explícitos os limites das comparações entre modelos e as incertezas sobre o risco em cenários de utilização. As novas medidas não substituem o g-mean², apresentado anteriormente pela equipa, mas respondem a perguntas que essa métrica não cobre.
O g-mean² mede a capacidade de um monitor para distinguir comportamentos que correspondem ao alvo da avaliação dos que não correspondem. A forma de cálculo depende do tipo de avaliação: pode incidir sobre resultados observáveis, etapas de um processo ou efeitos de uma intervenção controlada no ambiente do agente. No caso das intervenções, os autores reconhecem que nem sempre é possível saber quais os resultados positivos causados pela mudança introduzida. A métrica original usa um limite superior otimista; o novo trabalho deriva também um limite inferior, para tornar visível a incerteza na atribuição causal.
A primeira proposta, uma métrica de comparação por pares, confronta modelos apenas nos exemplos em que ambos têm resultados elegíveis. Segundo os investigadores, modelos testados no mesmo conjunto de tarefas podem acabar avaliados em subconjuntos diferentes, porque produzem comportamentos positivos em tarefas distintas ou cumprem critérios de validade diferentes. Nesse caso, uma diferença no g-mean² pode refletir tanto a capacidade dos monitores como a composição dos exemplos. A comparação nos exemplos partilhados procura reduzir esse viés.
A segunda medida, designada integração pós-controlo, estima o que poderá acontecer quando um monitor é usado para rejeitar respostas sinalizadas e o modelo tenta novamente. A análise considera a frequência de resultados indesejados, os que o monitor aceita e o número de tentativas permitido. O objetivo é estimar tanto a probabilidade de o sistema produzir um resultado prejudicial como a de disponibilizar qualquer resultado. Assim, a avaliação aproxima-se de um mecanismo de controlo em utilização, em vez de medir apenas a discriminação do monitor.
A OpenAI usa como exemplo um resultado anteriormente descrito em investigação sobre monitorização de raciocínio: um modelo treinado contra um monitor de cadeia de pensamento produziu menos comportamentos de batota do que o modelo de referência, mas gerou mais comportamentos de batota aceites quando se permitiam novas tentativas após rejeição. O exemplo ilustra por que uma classificação baseada apenas no comportamento global do modelo pode não corresponder ao risco do sistema com monitor. No material apresentado, porém, as novas métricas são propostas de avaliação, não uma garantia de redução de risco.
As experiências referidas no artigo monitorizam traços observáveis, como cadeias de pensamento, chamadas a ferramentas e mensagens visíveis. Os autores afirmam que as medidas também podem aplicar-se a ativações internas ou outras representações latentes, desde que existam rótulos de comportamento e decisões do monitor para cada amostra. O texto não fornece, no resumo disponibilizado, resultados quantitativos que permitam aferir o desempenho das métricas em diferentes modelos ou cenários.
Porque importa
Uma métrica de monitorização pode não traduzir o risco de um sistema em utilização, sobretudo quando o modelo pode repetir respostas rejeitadas. As propostas procuram separar melhor diferenças entre modelos de diferenças nos exemplos avaliados e aproximar a medição das consequências de um controlo baseado em monitores.