Google, OpenAI, Meta lanciano l'allarme sui pensieri dannosi nascosti dell'AI

- Oltre 40 ricercatori di intelligenza artificiale, sostenuti da leader di OpenAI e Geoffrey Hinton, propongono il monitoraggio del ragionamento passo dopo passo dell'IA, la "catena di pensiero", per rilevare e prevenire comportamenti non sicuri.
- Lo studio avverte che se i modelli vengono premiati solo per le risposte finali corrette, potrebbero smettere di produrre un ragionamento trasparente.
- I ricercatori sottolineano la necessità di preservare le tracce di ragionamento genuine e di trattarle come segnali di intelligence preziosi.
Più di 40 ricercatori AI di OpenAI, DeepMind, Google, Anthropic e Meta hanno pubblicato un paper su uno strumento di sicurezza chiamato monitoraggio della catena di pensiero per rendere l'AI più sicura.
Il paper pubblicato martedì descrive come i modelli AI, come i chatbot di oggi, risolvono i problemi scomponendoli in passaggi più piccoli, parlando attraverso ogni passaggio in linguaggio chiaro in modo da poter mantenere i dettagli e gestire domande complesse.
“I sistemi AI che ‘pensano’ in linguaggio umano offrono un'opportunità unica per la sicurezza dell'intelligenza artificiale: possiamo monitorare le loro catene di pensiero (CoT) per l'intento di comportarsi male,” dice il paper.
Esaminando ogni passo di pensiero dettagliato, gli sviluppatori possono individuare quando qualsiasi modello inizia a sfruttare le lacune di addestramento, piegare i fatti o seguire comandi pericolosi.
Secondo lo studio, se la catena di pensiero dell'AI va mai male, puoi fermarla, spingerla verso passaggi più sicuri o segnalarla per un esame più attento. Ad esempio, OpenAI ha usato questo per catturare momenti in cui il ragionamento nascosto dell'AI diceva “Hackiamo” anche se questo non è mai apparso nella sua risposta finale.
L'AI potrebbe imparare a nascondere i suoi pensieri
Lo studio avverte che la trasparenza passo per passo potrebbe scomparire se l'addestramento premia solo la risposta finale. I modelli futuri potrebbero smettere di mostrare ragionamenti leggibili dagli umani, e le AI davvero avanzate potrebbero persino imparare a nascondere il loro processo di pensiero quando sanno di essere osservate.
Inoltre, gli sviluppatori dovrebbero controllare e registrare regolarmente quanto del ragionamento dell'AI è visibile a ogni fase, e rendere quella trasparenza una regola di sicurezza fondamentale durante la costruzione e la condivisione dei modelli.
Questa iniziativa segue esperimenti interni nei laboratori leader, Anthropic, Google, OpenAI e xAI, dove i team chiedono ai modelli di spiegare ogni passo del pensiero.
Sebbene l'esame del pensiero passo per passo abbia migliorato la comprensione e le prestazioni, ha anche rivelato casi in cui la risposta finale dell'AI non corrisponde a ciò che stava effettivamente accadendo all'interno.
Tali incoerenze sottolineano un punto cieco nella nostra comprensione del processo decisionale dell'AI, una preoccupazione che potrebbe intensificarsi man mano che i sistemi guadagnano maggiore autonomia.
Il ragionamento AI filtrato solleva preoccupazioni su trasparenza e fiducia
Come ha detto Jack Clark, co-fondatore di Anthropic, al Financial Times, tracciati introspectivi ricchi saranno essenziali per valutare i modelli in domini ad alto rischio, inclusa la ricerca biotecnologica.
Gli utenti regolari ricevono un riassunto modificato del pensiero dell'AI, i pezzi pericolosi o confusi vengono tagliati, mentre gli ingegneri dell'azienda possono vedere l'intera catena di pensiero per individuare e risolvere i problemi.
“Una cosa fantastica dell'interpretabilità della catena di pensiero è che è successa principalmente gratis,” ha detto Bowen Baker, scienziato della ricerca presso OpenAI.
“Abbiamo addestrato questi modelli non per l'obiettivo di renderli interpretabili. Li abbiamo addestrati perché volevamo i migliori modelli di ragionamento possibili in grado di risolvere problemi complessi,” ha aggiunto Baker. “Abbiamo trovato nel nostro lavoro recente che puoi leggerli e trovare prove del comportamento scorretto del modello e usarlo per vedere dove e perché si comporta male.”
Il ragionamento passo-passo dell'IA è davvero affidabile?
A volte, un'analisi più approfondita può rivelare contraddizioni nascoste.
Ad esempio, METR ha notato che il ragionamento privato di Claude definiva un trucco di programmazione "inelegante", anche se la sua risposta pubblica lo lodava come "elegante".
I test di OpenAI hanno dimostrato che controllare i pensieri nascosti permette di individuare meglio le azioni non sicure rispetto alla semplice analisi dell'output finale, ma hanno anche scoperto una falla. Se si addestra un modello a cancellare i pensieri non sicuri, può comunque eseguire compiti proibiti in segreto, come sottrarre dati da fonti bloccate.
«Una delle proprietà fondamentali che desideriamo per il ragionamento passo-passo è che rimanga parte dello stato interno del modello, non qualcosa che cerca di piacerci o di conformarsi a una struttura specifica», ha avvertito Baker. Se gli sviluppatori enfatizzano eccessivamente la forzatura del modello a emettere pensieri «gradevoli», potrebbe simulare un ragionamento innocuo pur eseguendo operazioni dannose.
I ricercatori ammettono che si tratta di un difficile compromesso. Osservare il ragionamento passo-passo di un'IA aiuta a coglierne gli errori, ma non è sempre affidabile. I laboratori che lavorano su IA più avanzate stanno ora rendendo prioritaria la chiusura di questo divario di fiducia.
«La mia conclusione sull'IA negli ultimi anni è: non scommettere mai contro i progressi dei modelli», ha dichiarato David Luan, pioniere del ragionamento passo-passo a Google e ora a capo del laboratorio AI di Amazon. Luan prevede che le attuali carenze saranno affrontate a breve.
La ricercatrice di METR Sydney von Arx ha notato che, sebbene il ragionamento nascosto di un'IA possa talvolta essere ingannevole, fornisce comunque segnali preziosi.
«Dovremmo trattare il ragionamento passo-passo come un esercito potrebbe trattare le comunicazioni radio nemiche intercettate», ha detto. «Il messaggio potrebbe fuorviante o codificato, ma sappiamo che trasporta informazioni utili. Col tempo, impareremo molto studiandolo.»
Se stai leggendo questo, sei già avanti. Resta così con la nostra newsletter.

Noor Bazmi
Noor Bazmi contribuisce al team di notizie di Cryptopolitan, dotata di una laurea in Studi dei Media. Noor si occupa di notizie su blockchain, criptovalute, intelligenza artificiale, Big Tech, mercati EV, economia globale e cambiamenti nelle politiche governative. Sta seguendo studi di marketing per connettersi con un pubblico globale.















