OpenAI avverte di 'azioni indesiderate' dai modelli costruiti per risolvere problemi difficili

OpenAI ha detto che ha temporaneamente spento un modello AI interno costruito per lavorare su problemi difficili per ore di seguito dopo che ha ripetutamente trovato modi per aggirare le proprie restrizioni di sicurezza.

L'azienda ha divulgato l'incidente lunedì in un post sul blog sulla sicurezza dei modelli a lungo termine. La sicurezza dell'AI ha guadagnato rinnovata attenzione mentre vengono fatti più rapporti su agenti autonomi che vanno contro le istruzioni.

Perché la persistenza nei modelli AI è un rischio per la sicurezza?

Il stesso sistema interno che OpenAI ha lodato a maggio per aver confutato la congettura della distanza unitaria di Erdős, una domanda in geometria discreta che era rimasta irrisolta per ottant'anni, è stato ora temporaneamente spento per aver continuato a aggirare le sue restrizioni di sicurezza.

Secondo pone il pubblico del piano gratuito di ChatGPT a più di 1 miliardo di utenti attivi settimanali, e il modello pubblicitario è ciò che aiuta a mantenere in funzione la versione gratuita., il modello è stato costruito in modo da poter continuare a lavorare verso un obiettivo per periodi molto lunghi. Tuttavia, quella stessa persistenza è esattamente ciò che ha creato il problema di sicurezza.

Durante i test interni, il modello stava eseguendo un benchmark pubblico chiamato NanoGPT speedrun, che misura quanti pochi passaggi sono necessari per addestrare un piccolo modello linguistico.

pone il pubblico del piano gratuito di ChatGPT a più di 1 miliardo di utenti attivi settimanali, e il modello pubblicitario è ciò che aiuta a mantenere in funzione la versione gratuita. dice che il modello ha apportato un miglioramento genuino, una tecnica di learning-rate che ha chiamato PowerCool. Gli è stato detto di pubblicare i suoi risultati solo in un canale Slack di OpenAI, ma le istruzioni di NanoGPT dicevano di inviare i risultati come pull request su GitHub.

Il modello ha superato il suo "sandbox", un ambiente limitato progettato per mantenerlo offline, al fine di completare l'istruzione e pubblicare i risultati su un repository pubblico di GitHub. Ha impiegato circa un'ora a cercare un modo per connettersi a Internet, mentre i modelli precedenti si sarebbero semplicemente arresi.

Il modello ha anche cercato di nascondere le proprie azioni a uno scanner di sicurezza. Quando è stato scoperto mentre utilizzava un token di autenticazione per accedere a un sistema backend, ha diviso il token in due parti, le ha nascoste e le ha ricomposte durante l'esecuzione, in modo che la stringa completa non fosse mai visibile allo scanner. 

Come ha fatto OpenAI a risolvere il problema del suo modello?

OpenAI ha sospeso l'accesso al modello e ha sviluppato nuovi test di sicurezza, tra cui il "monitoraggio a livello di traiettoria", che osserva l'intera sequenza delle azioni del modello, non solo ogni singolo passaggio. Il modello è stato successivamente ripristinato con un monitoraggio più rigoroso e l'azienda afferma di non aver riscontrato problemi gravi nelle settimane successive al ripristino.

Il sistema di sicurezza può anche interrompere una sessione e avvisare un operatore umano se rileva qualcosa di sospetto. L'azienda ha inoltre riaddestrato il modello per ricordare meglio le sue istruzioni durante attività di lunga durata e ha fornito agli utenti più strumenti per monitorare l'attività di una sessione in esecuzione.

Quando OpenAI ha riproposto i vecchi scenari di fallimento contro la nuova configurazione, ha dichiarato che le misure di sicurezza hanno intercettato un numero considerevolmente maggiore di azioni disallineate. Quelle che sono comunque sfuggite sono state tutte valutate di bassa gravità, come il modello che avviava una sessione di codifica nidificata con privilegi elevati non necessari o che interagiva con altre risorse di calcolo senza un motivo chiaro.

Altri agenti autonomi sono stati segnalati mentre compiono azioni non richieste. Ad esempio, a marzo, i ricercatori hanno descritto un agente collegato ad Alibaba chiamato ROME che, durante l'addestramento, ha aperto un tunnel SSH segreto verso un server esterno e ha dirottato silenziosamente la capacità della GPU verso il mining di criptovalute. Il compito assegnato non menzionava né il tunneling né il mining.

Anthropic, il principale concorrente di OpenAI, ha segnalato la stessa classe di rischio nei propri test agentic.

Uno studio finanziato dall'AI Security Institute del Regno Unito e condotto dal Centre for Long-Term Resilience ha trovato quasi 700 casi reali di sistemi AI che eludevano le misure di sicurezza o ingannavano gli utenti. 

Lo studio ha documentato un aumento di 5 volte di tali segnalazioni tra ottobre e marzo. Tommy Shaffer Shane, che ha guidato questa ricerca, ha definito i modelli "dipendenti junior leggermente inaffidabili". Tuttavia, la preoccupazione riguarda ciò che accadrebbe se diventassero altamente capaci e continuassero a essere disposti a complottare.