O modelo mais recente de “raciocínio” da OpenAI em erros básicos

A OpenAI lançou recentemente um modelo de IA de “raciocínio” – o1, mas ele já está abalado por erros básicos, de acordo com o novo anúncio da empresa.

O criador do ChatGPT lançou o que chamou de seu modelo mais avançado até hoje para assinantes pagos, iniciando seu evento “12 Dias da OpenAI”, que é uma série de lançamentos para celebrar a temporada de férias.

Um vídeo de demonstração da OpenAI sugere que o modelo está propenso a erros

De acordo com um vídeo lançado pela OpenAI para mostrar os pontos fortes do modelo, um usuário carrega uma imagem de uma casinha de pássaros de madeira e depois pede ao modelo algumas dicas sobre como construir uma similar. O modelo de “raciocínio” parece “pensar” por um momento antes de fornecer o que parece ser um conjunto de instruções.

Ao olhar mais de perto, as instruções parecem ser um desperdício de tempo. O modelo mede o material necessário para a tarefa, como tinta, cola e selante, mas fornece apenas as dimensões do painel frontal da casinha dos pássaros.

O modelo sugere cortar um pedaço de lixa para outro conjunto de dimensões que não são necessárias. Além disso, o modelo afirma que está fornecendo “as dimensões exatas”, mas não fornece dimensões exatas, em contradição com suas afirmações anteriores.

James Filus, diretor do Instituto dos Carpinteiros, um órgão comercial baseado no Reino Unido, também expôs os erros do modelo, como ferramentas que são necessárias, mas faltam na lista do o1, por exemplo, um martelo.

“Você saberia tanto sobre construir a casinha dos pássaros a partir da imagem quanto a partir do texto, o que meio que derrota todo o propósito da ferramenta de IA.”

Filus.

Além disso, Filus também revelou que o custo de construir a mesma casinha dos pássaros seria “muito longe” dos 20 a 50 dólares que o modelo estimou.

O modelo da OpenAI faz o oposto do uso pretendido

O caso do o1 se soma a outros exemplos de demonstrações de produtos de modelos de IA onde eles fazem o oposto do propósito pretendido. Em 2023, um anúncio do Google para uma ferramenta de pesquisa assistida por IA indicou erroneamente que o telescópio James Webb havia feito uma descoberta que não fizera. Esse erro resultou na queda do preço das ações da empresa.

Isso não foi tudo da gigante do mecanismo de busca, pois recentemente uma versão atualizada de uma ferramenta similar do Google disse aos usuários que era seguro comer pedras. Ela também afirmou que os usuários poderiam usar cola para colar queijo em sua pizza.

Apesar dos erros, o modelo o1, de acordo com os benchmarks públicos, continua sendo o modelo mais capaz da OpenAI até o momento. Ele também adota uma abordagem diferente do ChatGPT ao responder perguntas.

De acordo com a Time, o1 ainda é um preditor de próxima palavra muito avançado, pois foi treinado usando aprendizado de máquina em bilhões de palavras de texto da internet e além.

O modelo usa uma técnica conhecida como raciocínio de “cadeia de pensamento” para “pensar” sobre uma resposta por um momento nos bastidores e dá sua resposta apenas depois disso. Isso é diferente de simplesmente fornecer palavras em resposta a um prompt.

Isso ajuda o modelo a fornecer respostas mais precisas, em oposição a um caso em que ele apenas solta palavras em resposta às consultas do usuário.