A OpenAI afirma que a Terminal X, com o modelo GPT-6.1 Sol, alcançou 88,6% de concordância com o julgamento de investidores séniores. O número é apresentado no título da publicação da empresa. A evidência disponível não descreve como foi calculada essa concordância, quem participou na avaliação ou em que condições decorreu. Por isso, o resultado deve ser lido como uma afirmação da OpenAI, e não como uma medição cuja metodologia possa ser verificada a partir da informação fornecida.

A publicação destaca o Eval Agent, que classifica respostas com base numa grelha de 54 critérios. Segundo a OpenAI, o agente detetou 25% mais desvios ao mandato de um fundo. A fonte fornecida não identifica a referência usada para essa comparação nem esclarece se os 25% representam um aumento relativo ou pontos percentuais. Não é possível, por isso, traduzir esse valor numa diferença absoluta de desvios.

Um mandato de investimento define orientações para a gestão de um fundo. Avaliar respostas em função dessas orientações pode ser pertinente em tarefas financeiras, mas a evidência disponível não especifica que tarefas foram testadas, que respostas foram examinadas ou como se definiu um desvio. Também não permite concluir que os resultados do agente tenham alterado decisões de investimento ou melhorado o desempenho de um fundo.

A informação fornecida não inclui detalhes sobre a dimensão ou composição do conjunto de avaliação, nem apresenta uma validação independente. Sem esses elementos, não é possível aferir até que ponto os resultados se aplicam a diferentes fundos, equipas ou contextos de utilização. A concordância com investidores, por si só, também não demonstra que as avaliações estejam corretas: para isso, seriam necessários dados sobre os critérios, a comparação e a forma de resolução de eventuais divergências.

A OpenAI associa os resultados ao GPT-6.1 Sol, mas a evidência não especifica a versão do modelo, a sua disponibilidade, o preço ou as limitações. Também não esclarece se a medição de concordância e a deteção de desvios foram atribuídas exclusivamente ao modelo, ao Eval Agent ou à combinação de componentes da Terminal X. Não há, portanto, base suficiente para atribuir o resultado a um componente específico.

Os dados anunciados apontam para uma avaliação de respostas face a critérios ligados ao mandato de um fundo, mas deixam questões metodológicas em aberto. Para avaliar o alcance prático da Terminal X, seriam necessários mais detalhes sobre o método e a comparação usados, bem como informação que permita verificar os resultados. Até lá, os valores de 88,6% e 25% devem ser entendidos como alegações da OpenAI, dentro dos limites da evidência publicada e fornecida.

Porque importa

Avaliar respostas de IA face a mandatos específicos pode ser relevante em tarefas financeiras, mas a informação disponível não permite aferir a metodologia ou a aplicação prática dos resultados anunciados pela OpenAI.

Fontes

Terminal X matches senior investor judgment 88.6% with GPT-6.1OpenAI ↗