ULTIME NOTIZIE
SELEZIONATO PER TE

Lo studio rivela le difficoltà di ChatGPT con la matematica di base

DiJohn PalmerJohn Palmer 3 min di lettura
ChatGPT

photo 2023 08 06 23 22 19

  • Il 'drift' nei modelli di IA presenta sfide, causando conseguenze indesiderate quando determinate funzionalità vengono potenziate a scapito di altre.
  • Il declino di ChatGPT nella matematica di base e in altri compiti evidenzia la complessità dei progressi costanti nei modelli di IA.
  • Vigilanza e monitoraggio rigoroso sono cruciali per comprendere e perfezionare i sistemi di IA mentre evolvono nel tempo.

Nel mondo in rapida evoluzione della tecnologia, i chatbot di Intelligenza Artificiale (AI) sono emersi come una svolta significativa. Tra questi, ChatGPT di OpenAI si è distinto, cattivando il pubblico dalla sua introduzione pubblica lo scorso anno. La sua capacità di intrattenere conversazioni fluide gli ha valso elogi e ha innescato una feroce gara globale per sviluppare modelli AI ancora più avanzati. Tuttavia, tra gli applausi e le preoccupazioni per il potenziale dominio dell'AI, recenti scoperte hanno rivelato uno sviluppo inaspettato: la diminuita competenza di ChatGPT nella matematica di base.

Comprendere il fenomeno del 'drift' dell'AI

Il termine 'drift' nell'AI non è solo una parola di moda. È un fenomeno reale e osservato che ha catturato l'attenzione della comunità accademica. Uno sforzo di ricerca collaborativo tra l'Università di Stanford e l'Università della California, Berkeley, ha gettato luce su questo aspetto intrigante del comportamento dell'AI.

L'essenza del 'drift' risiede nelle conseguenze non intenzionali dell'ottimizzazione del modello. Man mano che ricercatori e sviluppatori si sforzano di migliorare determinate funzionalità di questi intricati modelli AI, altre aree potrebbero subire involontariamente danni. Questo è esattamente ciò che sta accadendo con ChatGPT.

James Zou, un rinomato professore a Stanford e un contributore fondamentale alla ricerca, ha chiarito: "Quando modifichi il modello per migliorarlo in una direzione specifica, c'è un rischio tangibile che regredisca in altre aree." Questa sfida intrinseca sottolinea la complessità del raggiungimento di progressi coerenti nei modelli AI.

Approfondire il declino

La ricerca non era uno sguardo superficiale alle capacità di ChatGPT. È stata un'analisi meticolosa guidata da Lingjiao Chen, una diligente studentessa di dottorato in informatica di Stanford, e Matei Zaharia, una figura prominente di Berkeley. Il loro obiettivo era chiaro: valutare come due versioni distinte di ChatGPT si sono comportate nel corso di un periodo.

I loro risultati sono stati sconvolgenti. Ci si aspetterebbe che l'identificazione dei numeri primi, un compito relativamente semplice per i computer, sarebbe una passeggiata per un'AI così avanzata. Tuttavia, i risultati hanno raccontato una storia diversa.

In un test condotto a marzo, GPT-4, la versione premium di ChatGPT, è stato sottoposto a 1.000 numeri diversi. È riuscito a determinare correttamente la primalità dell'84% di essi. Arrivati a giugno, la sua precisione è crollata al misero 51%. Questo non è stato un incidente isolato. Su otto compiti diversi, le prestazioni di GPT-4 si sono deteriorate in sei. Sebbene GPT-3.5 abbia migliorato le proprie prestazioni in sei aree, è rimasto prevalentemente indietro rispetto al suo successore.

Le implicazioni della rapida deriva

Sebbene la 'deriva' sia un concetto riconosciuto tra gli appassionati di IA, la velocità con cui si è manifestata in ChatGPT è stata inaspettata. Le osservazioni del team di ricerca si sono estese oltre i compiti matematici. Hanno notato un marcato declino nella reattività di GPT-4 alle domande incentrate sull'opinione. Da un commendevole tasso di risposta del 98% a marzo, è sceso al 23% a giugno.

Questa regressione potrebbe essere intrecciata con la tendenza in crescita dell'ingegneria dei prompt. Questo processo coinvolge utenti che creano prompt specifici per estrarre risposte particolari, a volte controverse, dall'IA. Il degrado delle capacità matematiche di ChatGPT potrebbe essere una conseguenza involontaria delle misure adottate per contrastare tali prompt manipolativi.

Navigare il futuro dell'IA

Nonostante gli ostacoli, il consenso, specialmente tra la comunità di ricerca, non è quello di scartare la tecnologia. L'accento è invece posto sulla vigilanza. Zou sostiene con passione un approccio di monitoraggio più rigoroso. Facendo eco ai suoi sentimenti, il team congiunto di Stanford e Berkeley si sta preparando a sottoporre i modelli di IA, incluso ChatGPT, a una serie di test. Il loro obiettivo? Valutare empiricamente la loro evoluzione nel tempo.

Il percorso del progresso dell'IA non è lineare. È un viaggio dinamico segnato da passi avanti, inciampi occasionali e deviazioni inaspettate. Mentre la comunità globale continua a navigare l'intricato labirinto dell'IA, una cosa è evidente: il viaggio per comprendere e perfezionare questi sistemi è tutt'altro che concluso.

I cervelli più intelligenti del crypto leggono già la nostra newsletter. Vuoi unirti a loro? Unisciti a loro.

Condividi questo articolo

Dichiarazione di responsabilità. Le informazioni fornite non costituiscono consigli di trading. Cryptopolitan.com non si assume alcuna responsabilità per gli investimenti effettuati sulla base delle informazioni fornite in questa pagina. Raccomandiamo vivamente ricerche indipendenti e/o consultazioni con un professionista qualificato prima di prendere qualsiasi decisione di investimento.

John Palmer

John Palmer

John Murangiri è arrivato su Cryptopolitan con competenze nell'analisi di mercato. John (noto anche come JP) si è laureato presso l'Università di Nairobi con una laurea in comunicazione di massa e studi sui media. In precedenza ha contribuito con approfondimenti sul mercato delle criptovalute a InsideBitcoins.com e Metacoingraph.

ALTRE NOTIZIE …