I modelli di intelligenza artificiale padroneggiano le capacità molto prima di esibirle, dimostra la ricerca

Una nuova ricerca ha dimostrato che i modelli di intelligenza artificiale (IA) possiedono alcune capacità ben prima di manifestarle durante l'addestramento. Secondo la ricerca condotta da Harvard e dall'Università del Michigan, i modelli non mostrano queste capacità finché non ne hanno bisogno, in un modo o nell'altro.

Questa ricerca è una delle tante condotte per comprendere come i modelli di intelligenza artificiale sviluppano le proprie capacità prima di mostrarle.

Lo studio ha analizzato come i modelli di intelligenza artificiale apprendono concetti di base come dimensioni e colore, rivelando che padroneggiano queste abilità prima di quanto suggeriscano la maggior parte dei test. Lo studio ha anche fornito spunti di riflessione sulla complessità della misurazione delle capacità di un'IA. "Un modello potrebbe apparire incompetente se sottoposto a istruzioni standard, pur possedendo in realtà abilità sofisticate che emergono solo in condizioni specifiche", si legge nell'articolo.

La ricerca mostra che i modelli di intelligenza artificiale interiorizzano i concetti

Harvard e l'Università del Michigan non sono i primi a cercare di comprendere le capacità dei modelli di intelligenza artificiale: i ricercatori di Anthropic hanno presentato un articolo intitolato "apprendimento tramite dizionario". L'articolo analizza la mappatura delle connessioni tra il loro linguaggio Claude e concetti specifici che comprende. Sebbene la maggior parte di queste ricerche abbia adottato prospettive diverse, il loro obiettivo principale è comprendere i modelli di intelligenza artificiale.

Anthropic ha rivelato di aver trovato caratteristiche che potrebbero essere collegate a diversi concetti interpretabili. "Abbiamo trovato milioni di caratteristiche che sembrano corrispondere a concetti interpretabili, che vanno da oggetti concreti come persone, paesi ed edifici famosi a ideetraccome emozioni, stili di scrittura e fasi di ragionamento", ha rivelato la ricerca.

Nel corso della loro ricerca, i ricercatori hanno condotto diversi esperimenti utilizzando il modello di diffusione, una delle architetture più diffuse per l'intelligenza artificiale. Durante l'esperimento, si sono resi conto che i modelli avevano modi distinti di manipolare i concetti di base. I modelli di intelligenza artificiale mostravano modelli coerenti, poiché mostravano nuove capacità in fasi diverse e un punto di transizione netto che segnalava l'acquisizione di una nuova capacità.

Durante l'addestramento, i modelli hanno dimostrato di aver acquisito i concetti circa 2.000 volte prima di quanto avrebbe rilevato un test standard. I concettitronapparivano intorno ai 6.000 passi, mentre quelli più deboli erano visibili intorno ai 20.000 passi. Dopo aver modificato i segnali concettuali, hanno scoperto una correlazione diretta con la velocità di apprendimento.

I ricercatori svelano metodi per accedere a capacità nascoste

I ricercatori hanno utilizzato metodi di sollecitazione alternativi per rivelare capacità nascoste prima che venissero mostrate nei test standard. La natura dilagante dell'emergenza nascosta ha effetti sulla valutazione e sulla sicurezza dell'IA. Ad esempio, i benchmark tradizionali potrebbero non tenere conto di alcune capacità dei modelli di IA, trascurando così sia quelle utili che quelle preoccupanti.

Durante la ricerca, il team ha individuato alcuni metodi per accedere alle capacità nascoste dei modelli di intelligenza artificiale. La ricerca ha definito questi metodi "intervento latente lineare" e "over-prompting", poiché i ricercatori hanno fatto sì che i modelli mostrassero comportamenti complessi prima che questi si manifestassero nei test standard. I ricercatori hanno anche scoperto che i modelli di intelligenza artificiale manipolavano alcune caratteristiche complesse prima di poterle mostrare attraverso i prompt standard.

Ad esempio, ai modelli potrebbe essere chiesto di generare correttamente "donne sorridenti" o "uomini con cappelli" prima di dover combinare le due cose. Tuttavia, la ricerca ha dimostrato che hanno imparato a combinare queste due cose prima, ma non saranno in grado di dimostrarlo attraverso prompt convenzionali. I modelli che mostrano capacità possono essere definiti "grokking", una situazione in cui i modelli mostrano prestazioni di test perfette dopo un addestramento prolungato. Tuttavia, i ricercatori hanno affermato che ci sono differenze fondamentali tra i due.

Sebbene il grokking avvenga dopo diverse sessioni di addestramento e implichi il perfezionamento di diverse distribuzioni degli stessi set di dati, la ricerca mostra che queste capacità emergono durante l'apprendimento attivo. I ricercatori hanno osservato che i modelli hanno trovato nuovi modi per manipolare i concetti attraverso cambiamenti graduali piuttosto che miglioramenti graduali della rappresentazione nel grokking.

Secondo la ricerca, i modelli di intelligenza artificiale conoscono questi concetti, ma non sono in grado di esprimerli. È come se le persone guardassero e comprendessero un film straniero ma non ne conoscessero la lingua. Questo dimostra che la maggior parte dei modelli ha più capacità di quelle che mostra, e dimostra anche la difficoltà di comprenderle e controllarle.