Os novos modelos do ChatGPT da OpenAI foram encontrados “alucinando” com mais frequência

Os mais recentes modelos de raciocínio da OpenAI, o3 e o4-mini, produzem respostas inventadas com mais frequência do que os modelos anteriores da empresa, conforme mostrado por testes internos e externos. 

O aumento nas chamadas alucinações quebra um padrão de longa data em que cada novo lançamento tendia a inventar menos coisas do que o modelo anterior.

Os próprios números da OpenAI colocam o problema em termos nítidos. No PersonQA, um benchmark da empresa que verifica o quão bem um modelo lembra fatos sobre pessoas, o o3 inventou material em 33% das respostas, cerca do dobro das taxas registradas pelo o1 e o3-mini, que pontuaram 16% e 14,8%. O O4-mini teve desempenho ainda pior, alucinando 48% das vezes.

Um relatório técnico detalha as descobertas. Os engenheiros escrevem que os novos modelos superam as versões anteriores em codificação e matemática, mas porque eles “fazem mais afirmações no geral”, também fazem “mais afirmações precisas, bem como mais afirmações imprecisas/alucinadas”. O documento adiciona que “mais pesquisas são necessárias” para explicar a queda na confiabilidade.

A OpenAI classifica os sistemas da série o como modelos de raciocínio, uma linha que a empresa e grande parte da indústria adotaram no último ano. Modelos tradicionais, não de raciocínio, como o GPT-4o com busca na web, superaram o último par em veracidade: o GPT-4o com busca atinge 90% de precisão no SimpleQA, outro benchmark interno.

O modelo o3 da OpenAI está inventando etapas

A Transluce, um laboratório sem fins lucrativos de IA, relatou que o modelo o3 inventava etapas. Em uma execução, o modelo disse que havia executado código em um MacBook Pro de 2021 “fora do ChatGPT”, depois copiou os números de volta. O modelo simplesmente não é capaz de fazer isso.

“Nossa hipótese é que o tipo de aprendizado por reforço usado para os modelos da série o pode amplificar problemas que geralmente são mitigados (mas não totalmente eliminados) pelos pipelines padrão de pós-treinamento”, disse Neil Chowdhury, pesquisador da Transluce e ex-funcionário da OpenAI, em um e-mail.

A co-fundadora da Transluce, Sarah Schwettmann, disse que a maior taxa de erro poderia tornar o o3 menos útil do que suas habilidades brutas sugerem.

Kian Katanforoosh, professor adjunto de Stanford, disse à TechCrunch que sua equipe já está testando o o3 para tarefas de codificação e o vê como “um passo acima da concorrência”. No entanto, ele relatou outra falha: o modelo frequentemente retorna links da web que não funcionam quando clicados.

As alucinações podem estimular a criatividade, mas tornam os sistemas uma venda difícil para empresas que precisam de precisão. Um escritório de advocacia redigindo contratos, por exemplo, dificilmente toleraria erros factuais frequentes.

A busca em tempo real poderia reduzir alucinações em modelos de IA

Uma possível solução é a busca em tempo real. A versão GPT-4o da OpenAI, que consulta a web, já pontua melhor no SimpleQA. O relatório sugere que a mesma tática poderia reduzir alucinações em modelos de raciocínio, pelo menos quando os usuários estão dispostos a enviar prompts para um mecanismo de terceiros.

“Abordar as alucinações em todos os nossos modelos é uma área de pesquisa contínua, e estamos trabalhando continuamente para melhorar sua precisão e confiabilidade”, disse o porta-voz da OpenAI, Niko Felix, em um e-mail.

Se a busca em tempo real por si só resolverá o problema permanece incerto. O relatório alerta que, se a escalada de modelos de raciocínio continuar piorando as alucinações, a busca por correções se tornará mais urgente. Os pesquisadores há muito chamam as alucinações de um dos problemas mais difíceis da IA, e as últimas descobertas destacam o quanto ainda há a percorrer.

Para a OpenAI, a credibilidade é importante, pois o ChatGPT é usado em ambientes de trabalho, salas de aula e estúdios criativos. Os engenheiros dizem que continuarão ajustando o aprendizado por reforço, a seleção de dados e o uso de ferramentas para reduzir os números. Até lá, os usuários devem equilibrar habilidades mais afiadas contra uma maior chance de serem enganados.