O modelo de "raciocínio" mais recente da OpenAI em erros básicos

A OpenAI lançou recentemente um modelo de IA de "raciocínio" – o1 – mas, de acordo com um novo anúncio da empresa, ele já está repleto de erros básicos.

A OpenAI, criadora do ChatGPT, lançou o que considera seu modelo mais avançado até o momento para assinantes pagos, dando início ao evento "12 Dias de OpenAI", uma série de lançamentos para celebrar a temporada de festas de fim de ano.

Um vídeo de demonstração da OpenAI sugere que o modelo é propenso a erros

De acordo com um vídeo divulgado pela OpenAI para demonstrar os pontos fortes do modelo, um usuário carrega a imagem de uma casinha de pássaros de madeira e, em seguida, pede ao modelo conselhos sobre como construir uma semelhante. O modelo de "raciocínio" parece "pensar" por um instante antes de fornecer o que aparenta ser um conjunto de instruções.

Analisando mais atentamente, as instruções parecem ser uma perda de tempo. O modelo indica as medidas dos materiais necessários para a tarefa, como tinta, cola e selante, mas fornece apenas as dimensões do painel frontal da casinha de pássaros.

O modelo sugere cortar um pedaço de lixa em dimensões diferentes das necessárias. Além disso, o modelo afirma fornecer "as dimensões exatas", mas não fornece dimensões exatas, contrariando suas afirmações anteriores.

James Filus, diretor do Instituto de Carpinteiros, uma associação comercial sediada no Reino Unido, também expôs os erros do modelo, como ferramentas necessárias que não constam da lista do o1, por exemplo, um martelo.

“Você saberia tanto sobre como construir a casinha de pássaros pela imagem quanto pelo texto, o que meio que anula todo o propósito da ferramenta de IA.”

Filus.

Além disso, Filus também revelou que o custo de construção da mesma casinha de pássaros estaria "muito longe" dos 20 a 50 dólares estimados pelo modelo.

O modelo da OpenAI faz o oposto do uso pretendido

O caso o1 soma-se a outros exemplos de demonstrações de produtos com modelos de IA que, na verdade, fazem o oposto do que se pretendia. Em 2023, um anúncio para uma ferramenta de busca assistida por IA indicava erroneamente que o telescópio James Webb havia feito uma descoberta que não havia ocorrido. Esse erro resultou na queda do preço das ações da empresa.

Isso não foi tudo que a gigante das buscas fez, já que recentemente uma versão atualizada de uma ferramenta similar do Google informou aos usuários que era seguro comer pedras. A ferramenta também afirmou que os usuários poderiam usar cola para fixar queijo na pizza.

Apesar dos erros, o modelo o1, de acordo com os benchmarks públicos, continua sendo o modelo mais capaz da OpenAI até o momento. Ele também adota uma abordagem diferente do ChatGPT ao responder perguntas.

Segundo a revista Time, o1 ainda é um preditor de próxima palavra muito avançado, pois foi treinado usando aprendizado de máquina em bilhões de palavras de texto da internet e de outras fontes.

O modelo utiliza uma técnica conhecida como raciocínio em "cadeia de pensamento" para "pensar" sobre uma resposta por um momento em segundo plano e só a apresenta depois disso. Isso é diferente de simplesmente responder com palavras a um estímulo.

Isso ajuda o modelo a fornecer respostas mais precisas, em vez de simplesmente reproduzir palavras em resposta às consultas do usuário.