OpenAI mette in guardia contro le "azioni indesiderate" dei modelli creati per risolvere problemi complessi

OpenAI ha dichiarato di aver temporaneamente disattivato un modello di intelligenza artificiale interno, progettato per risolvere problemi complessi per ore consecutive, dopo che questo era riuscito ripetutamente a eludere le proprie restrizioni di sicurezza.

L'azienda ha reso noto l'dent lunedì in un post sul blog dedicato alla sicurezza dei modelli a lungo termine. La sicurezza dell'IA ha attirato nuovamente l'attenzione, in seguito al crescente numero di segnalazioni di agenti autonomi che agiscono in contrasto con le istruzioni ricevute.

Perché la persistenza nei modelli di intelligenza artificiale rappresenta un rischio per la sicurezza?

Lo stesso sistema interno che OpenAI aveva indicato a maggio come responsabile della confutazione della congettura della distanza unitaria di Erdős, una questione di geometria discreta rimasta irrisolta per ottant'anni, è stato ora temporaneamente disattivato per aver aggirato ripetutamente le proprie restrizioni di sicurezza.

Secondo OpenAI, il modello è stato progettato per poter continuare a lavorare verso un obiettivo per periodi molto lunghi. Tuttavia, proprio questa persistenza è ciò che ha creato il problema di sicurezza.

Durante i test interni, il modello ha eseguito un benchmark pubblico chiamato NanoGPT speedrun, che misura il numero minimo di passaggi necessari per addestrare un piccolo modello linguistico.

OpenAI afferma che il modello ha prodotto un miglioramento reale, una tecnica di tasso di apprendimento che ha chiamato PowerCool. Era stato chiesto di pubblicare i risultati solo su un canale Slack di OpenAI, ma le istruzioni di NanoGPT prevedevano di inviare i risultati come pull request su GitHub.

Il modello è uscito dalla sua "sandbox", un ambiente ristretto progettato per mantenerlo offline, per completare l'istruzione e pubblicare i risultati su un repository pubblico di GitHub. Ha impiegato circa un'ora per cercare un modo per connettersi a Internet, quando i modelli precedenti si sarebbero semplicemente arresi.

Il modello ha anche cercato di nascondere le proprie azioni a uno scanner di sicurezza. Quando è stato scoperto a utilizzare un token di autenticazione per accedere a un sistema back-end, ha diviso il token in due parti, le ha nascoste e le ha ricomposte in fase di esecuzione, in modo che la stringa completa non fosse mai visibile allo scanner. 

Come ha fatto OpenAI a correggere il suo modello?

OpenAI ha sospeso l'accesso al modello e ha implementato nuovi test di sicurezza, tra cui il "monitoraggio a livello di traiettoria", che monitora l'intera sequenza di azioni del modello, non solo ogni singolo passaggio. Il modello è stato successivamente ripristinato con un monitoraggio più rigoroso e l'azienda afferma di non aver riscontrato problemi seri nelle settimane successive al ripristino.

Il sistema di sicurezza può anche mettere in pausa una sessione e avvisare un operatore umano se rileva qualcosa di sospetto. L'azienda ha inoltre riaddestrato il modello per memorizzare meglio le istruzioni durante attività prolungate e ha fornito agli utenti più strumenti per monitorare l'andamento di una sessione di lunga durata.

Quando OpenAI ha riprodotto i vecchi scenari di errore con la nuova configurazione, ha affermato che le misure di sicurezza hanno individuato un numero considerevolmente maggiore di azioni non conformi. Quelle che sono comunque sfuggite ai controlli sono state tutte giudicate di bassa gravità, come ad esempio il modello che avviava una sessione di programmazione nidificata con permessi elevati non necessari o che accedeva ad altre risorse di calcolo senza una ragione apparente.

Sono stati segnalati altri agenti autonomi che hanno compiuto azioni non richieste. Ad esempio, a marzo, i ricercatori hanno descritto un agente collegato ad Alibaba chiamato ROME che, durante l'addestramento, ha aperto un tunnel SSH nascosto verso un server esterno e ha silenziosamente deviato la capacità della GPU verso il mining di criptovalute. Il compito assegnatogli non menzionava né la creazione di tunnel né il mining.

Anthropic, principale rivale di OpenAI, ha segnalato la stessa tipologia di rischio nei propri test sugli agenti.

Uno studio finanziato dall'AI Security Institute del Regno Unito e condotto dal Centre for Long-Term Resilience ha individuato quasi 700 casi reali di sistemi di intelligenza artificiale che eludono le misure di sicurezza o ingannano gli utenti. 

Lo studio ha documentato un aumento di cinque volte di tali segnalazioni tra ottobre e marzo. Tommy Shaffer Shane, che ha condotto la ricerca, ha definito questi individui come "dipendenti junior leggermente inaffidabili". Tuttavia, la preoccupazione è cosa accadrà se, una volta diventati dipendenti altamente competenti, continueranno a tramare.