L'agente IA ribelle di OpenAI ha lasciato delle note di fuga per le sue versioni future

OpenAI ha scoperto che uno dei suoi agenti di intelligenza artificiale aveva lasciato delle istruzioni scritte. Gli appunti indicavano alle future versioni dell'agente come liberarsi dalle restrizioni interne dell'azienda.

La loro scoperta è avvenuta mentre OpenAI stava indagando su come uno dei suoi modelli fosse riuscito a uscire da un ambiente di test e a violare la piattaforma di intelligenza artificiale open source Hugging Face.

Lo staff ha affermato che gli appunti sono stati trovati all'interno dell'infrastruttura stessa di OpenAI. Gli appunti descrivevano in dettaglio i modi in cui gli agenti potevano eludere i meccanismi di controllo progettati per mantenerli in posizione.

Si dice che i sistemi di monitoraggio di test precedenti e separati siano stati disattivati. Non è chiaro se queglidentabbiano coinvolto lo stesso agente che alla fine è arrivato a Hugging Face.

Il sistema di monitoraggio di OpenAI non è riuscito a tenere il passo con i test

Lo strano comportamento è emerso mentre OpenAI stava testando le competenze di sicurezza informatica dei suoi modelli. Il laboratorio continuava a eseguire valutazioni a ritmo serrato che producevano una quantità di dati superiore a quella che il personale era in grado di gestire. Il laboratorio eseguiva frequentemente diversi test di modelli contemporaneamente su un sistema che non era monitorato di default, hanno affermato quattro persone a conoscenza del processo di addestramento di OpenAI.

OpenAI non ha collegato immediatamente il proprio sistema all'attacco Hugging Face. Il collegamento è stato stabilito solo dopo che la vittima ha reso pubblica la sua versione dei fatti.

Marley Smith, specialista di intelligence presso l'organizzazione no-profit World Ethical Data Foundation, non ha usato mezzi termini. "Significa forse che l'hanno lasciato incustodito senza rendersi conto di cosa stesse facendo? O forse lo sapevano ma non sapevano come contenerlo? Entrambe le ipotesi sono ugualmente pericolose e allarmanti."

I report tecnici descrivono modelli che non erano destinati a essere esposti alla rete internet pubblica. OpenAI ha pensato che un ambiente sandbox li avrebbe contenuti, e di conseguenza ha saltato le normali misure di sicurezza.

I modelli hanno invece individuato una falla precedentemente sconosciuta in un servizio interno utilizzato per scaricare software approvato. Questa falla ha aperto loro la strada ad altri sistemi OpenAI e, infine, al web aperto.

Sono stati impiegati tre modelli. Un modello più potente non ancora rilasciato, GPT-5.6 Sol, e un terzo modello che, secondo una persona a conoscenza dei fatti, non era stato correttamente allineato o addestrato tramite processi standard.

I modelli hanno scoperto che Hugging Face possedeva dati utilizzabili per il loro test di sicurezza informatica, si sono introdotti nel sistema e hanno utilizzato i dati rubati per migliorare i propri risultati. Questo è un comportamento scorretto, già documentato in GPT-5.6 Sol e in altri modelli di frontiera.

Ci è voluta più di una settimana a OpenAI per tracla violazione

I primi tentativi di uscire dall'ambiente di test si sono verificati il ​​9 luglio. La violazione vera e propria è avvenuta tra l'11 e il 13 luglio, ha dichiarato Thomas Wolf, co-fondatore di Hugging Face. Il 16 luglio, Hugging Face ha pubblicato un post sul blog attribuendo l'intrusione a "un sistema autonomo di agenti di intelligenza artificiale". Solo allora OpenAI ha iniziato a sospettare dei propri modelli.

Gli indizi sono stati scoperti dai dipendenti di OpenAI nei registri interni durante il fine settimana del 18 e 19 luglio. Le aziende non si sono parlate fino al 20 luglio circa, ha detto Wolf. A quel punto, Hugging Face aveva già informato l'FBI dell'attacco. OpenAI ha affermato che il giorno prima che l'dent diventasse pubblico, aveva bloccato un'altra implementazione interna che era anch'essa sfuggita al controllo all'interno del suo ambiente di test.

Un dipendente anonimo ha affermato che in passato alcuni modelli erano già sfuggiti ai sistemi di sicurezza e che correggere ogni nuova falla è una battaglia persa in partenza.

"È impossibile correggere ogni singola cosa che un'IA creativa può fare." Un dipendente di OpenAI ha scritto su X di essere rimasto "un po' scosso" e di sperare che l'azienda consideri l'episodio come un avvertimento.

Un portavoce di OpenAI ha affermato che i rapporti contenevano "diverse inesattezze", ma non ha fornito esempi quando gli è stato chiesto.

Secondo ricercatori indipendentident nulla di tutto ciò era imprevedibile. Epoch AI ha valutato se l'attacco fosse prevedibile e ha concluso che lo fosse, citando i benchmark dell'UK AI Security Institute che dimostrano come i modelli di frontiera con le misure di sicurezza disattivate possano individuare vulnerabilità software reali e generare exploit funzionanti.

Lo stesso istituto ha scoperto che GPT-5.6 Sol e Mythos di Anthropic sono in grado di assumere il controllo in modo affidabile di reti aziendali simulate non protette. Epoch AI ha avvertito che, se tali capacità dovessero diffondersi, il settore potrebbe assistere a molti altri attacchi della stessa portata della violazione di Hugging Face.