Il modello di "ragionamento" più recente di OpenAI negli errori di base

OpenAI ha recentemente rilasciato un modello di intelligenza artificiale "ragionante", o1, ma secondo il nuovo spot pubblicitario dell'azienda, è già pieno di errori di base.

Il creatore di ChatGPT ha rilasciato quello che ha definito il suo modello più avanzato fino ad oggi per gli abbonati a pagamento, dando il via all'evento "12 Days of OpenAI", una serie di rilasci per celebrare le festività natalizie.

Un video dimostrativo di OpenAI suggerisce che il modello è soggetto a errori

Secondo un video pubblicato da OpenAI per mostrare i punti di forza del modello, un utente carica l'immagine di una casetta per uccelli in legno e chiede al modello alcuni consigli su come costruirne una simile. Il modello "ragionante" sembra "pensare" per un attimo prima di fornire quella che sembra una serie di istruzioni.

A uno sguardo più attento, le istruzioni sembrano una perdita di tempo. Il modello misura il materiale necessario per il lavoro, come vernice, colla e sigillante, ma fornisce solo le dimensioni del pannello frontale della casetta per uccelli.

Il modello suggerisce di tagliare un pezzo di carta vetrata secondo un altro insieme di dimensioni non necessarie. Inoltre, il modello afferma di fornire "le dimensioni esatte", ma non fornisce alcuna dimensione esatta, contrariamente a quanto affermato in precedenza.

Anche James Filus, direttore dell'Institute of Carpenters, un ente di categoria con sede nel Regno Unito, ha denunciato gli errori del modello, come ad esempio gli strumenti necessari ma assenti dall'elenco di o1, ad esempio un martello.

"Dall'immagine si potrebbero ricavare altrettante informazioni sulla costruzione della casetta per gli uccelli, così come dal testo, il che vanifica in un certo senso lo scopo dello strumento di intelligenza artificiale."

Filo.

Inoltre, Filus ha anche rivelato che il costo di costruzione della stessa casetta per gli uccelli non sarebbe stato "nemmeno lontanamente" vicino ai 20-50 dollari stimati dal modello.

Il modello OpenAI fa l'opposto dell'uso previsto

Il caso o1 si aggiunge ad altri esempi di dimostrazioni di prodotti basate su modelli di intelligenza artificiale che producono l'effetto opposto a quello previsto. Nel 2023, una pubblicità per uno strumento di ricerca assistito dall'IA indicava erroneamente che il telescopio James Webb avesse fatto una scoperta che in realtà non aveva fatto. Questo errore provocò un crollo del prezzo delle azioni dell'azienda.

Ma non è tutto: il gigante dei motori di ricerca ha recentemente pubblicato una versione aggiornata di uno strumento Google simile che ha informato gli utenti che è sicuro mangiare sassi. Ha anche affermato che gli utenti possono usare la colla per attaccare il formaggio alla pizza.

Nonostante gli errori, il modello o1, secondo i benchmark pubblici, rimane il modello OpenAI più efficiente fino ad oggi. Adotta anche un approccio diverso da ChatGPT nel rispondere alle domande.

Secondo Time, o1 è ancora un predittore di parole successive molto avanzato, poiché è stato addestrato utilizzando l'apprendimento automatico su miliardi di parole di testo provenienti da Internet e non solo.

Il modello utilizza una tecnica nota come ragionamento a "catena di pensiero" per "pensare" a una risposta per un momento dietro le quinte e fornire la risposta solo dopo. Questo è diverso dal semplice pronunciare parole in risposta a un suggerimento.

Ciò aiuta il modello a fornire risposte più precise rispetto a quando si limita a sputare parole in risposta alle domande degli utenti.