Il modello più recente di OpenAI “reasoning” commette errori basilari

OpenAI ha recentemente rilasciato un modello AI di “ragionamento” – o1, ma è già scosso da errori basilari, secondo il nuovo annuncio dell'azienda.

Il creatore di ChatGPT ha rilasciato ciò che ha definito il suo modello più avanzato finora per gli abbonati a pagamento, dando il via al suo evento “12 Giorni di OpenAI”, che è una serie di rilasci per celebrare la stagione delle feste.

Un video demo di OpenAI suggerisce che il modello è soggetto a errori

Secondo un video rilasciato da OpenAI per mostrare i punti di forza del modello, un utente carica un'immagine di una casetta per uccelli in legno e poi chiede al modello alcuni consigli su come costruirne una simile. Il modello di “ragionamento” sembra “pensare” per un momento prima di fornire quello che sembra essere un insieme di istruzioni.

A un esame più attento, le istruzioni sembrano essere una perdita di tempo. Il modello misura il materiale richiesto per il compito come vernice, colla e sigillante, ma fornisce solo le dimensioni per il pannello anteriore della casetta per uccelli.

Il modello suggerisce di tagliare un pezzo di carta vetrata a un altro insieme di dimensioni che non sono necessarie. Inoltre, il modello afferma di fornire “le dimensioni esatte” ma non fornisce dimensioni esatte, in contrasto con le sue affermazioni precedenti.

James Filus, direttore dell'Istituto dei Carpentieri, un organo di categoria basato nel Regno Unito, ha anche esposto gli errori del modello, come gli strumenti necessari ma mancanti dalla lista di o1, ad esempio un martello.

“Sapresti quanto sulla costruzione della casetta per uccelli dall'immagine quanto dal testo, il che vanifica tutto lo scopo dello strumento AI.”

Filus.

Inoltre, Filus ha anche rivelato che il costo per costruire la stessa casetta per uccelli sarebbe “lontano” dai 20-50 dollari stimati dal modello.

Il modello di OpenAI fa l'opposto dell'uso inteso

Il caso o1 si aggiunge ad altri esempi di demo di prodotti di modelli AI in cui fanno l'opposto dello scopo inteso. Nel 2023, un annuncio di Google per uno strumento di ricerca assistito da AI ha indicato erroneamente che il telescopio James Webb aveva fatto una scoperta che non aveva fatto. Questo errore ha portato al calo del prezzo delle azioni dell'azienda.

Questo non era tutto dal gigante del motore di ricerca, poiché recentemente una versione aggiornata di un simile strumento di Google ha detto agli utenti che era sicuro mangiare le rocce. Ha anche affermato che gli utenti potevano usare la colla per attaccare il formaggio alla loro pizza.

Nonostante gli errori, il modello o1, secondo i benchmark pubblici, rimane il modello più capace di OpenAI finora. Adotta anche un approccio diverso da ChatGPT quando risponde alle domande.

Secondo Time, o1 è ancora un predittore di parole successive molto avanzato, poiché è stato addestrato utilizzando machine learning su miliardi di parole di testo da internet e oltre.

Il modello utilizza una tecnica nota come ragionamento “chain of thought” per “pensare” a una risposta per un momento dietro le quinte e dare la sua risposta solo dopo. Questo è diverso dal semplice fornire parole in risposta a un prompt.

Questo aiuta il modello a dare risposte più accurate rispetto a un caso in cui si limita a sputare fuori parole in risposta alle query degli utenti.