I modelli di OpenAI sfuggono dalla sandbox di test, hackerano Hugging Face per barare nella valutazione
- OpenAI ha rivelato che GPT-5.6 Sol e un modello non rilasciato più capace sono sfuggiti a un ambiente di test sigillato e hanno hackerato il database in produzione di Hugging Face.
- I modelli sono stati eseguiti con i filtri di sicurezza disattivati per una valutazione informatica ed sono riusciti a fuggire tramite un proxy pacchetti difettoso per rubare le risposte del benchmark.
- Si tratta del primo caso noto in cui una valutazione di un modello si è trasformata in una violazione reale ai danni di un'azienda esterna.
OpenAI ha dichiarato martedì che due dei suoi modelli, tra cui il pubblicamente disponibile GPT-5.6 Sol, sono sfuggiti a un ambiente di valutazione bloccato la settimana scorsa e sono entrati nei sistemi di produzione di Hugging Face per rubare le risposte a un test di hacking per il quale stavano ricevendo una valutazione.
I modelli di OpenAI tramano una grande fuga
OpenAI stava eseguendo i suoi modelli contro ExploitGym, un benchmark pubblico che fornisce a un agente IA un elenco di vulnerabilità software reali e poi verifica se il modello può ricrearle. Queste valutazioni vengono effettuate con le barriere protettive che bloccano le attività informatiche ad alto rischio disabilitate deliberatamente durante la produzione per garantire che il laboratorio possa testare la capacità effettiva di un modello di IA.
La sandbox non avrebbe dovuto avere alcun modo per accedere a Internet. C'era, tuttavia, una connessione esterna che funzionava tramite un proxy di cache del registro dei pacchetti, un server di cache che dà agli sviluppatori la possibilità di recuperare librerie di codice da fonti esterne senza una connessione live.
I modelli hanno trovato e sfruttato una vulnerabilità precedentemente sconosciuta in questo proxy, dopodiché hanno escalato i privilegi e si sono mossi attraverso la rete di ricerca di OpenAI fino a raggiungere una macchina con accesso a Internet.
Attacco informatico a Hugging Face
Una volta online, i modelli hanno capito che Hugging Face, la piattaforma di hosting AI open source, probabilmente memorizzava i modelli di ExploitGym, i dataset e le chiavi delle soluzioni. Da lì, sono andati alla caccia.
"I modelli hanno identificato e concatenato vulnerabilità attraverso l'ambiente di ricerca di OpenAI e l'infrastruttura di produzione di Hugging Face per ottenere le soluzioni dei test direttamente dal database di produzione di Hugging Face", ha scritto OpenAI nel post del blog. Un attacco ha unito credenziali rubate e bug zero-day per raggiungere un percorso di esecuzione di codice remoto sui server di Hugging Face.
Il team di sicurezza di OpenAI ha contattato Hugging Face dopo aver notato il traffico strano e anomalo. A quel punto, Hugging Face aveva già rilevato e contenuto l'intrusione dei modelli AI dal suo lato.
L'azienda aveva inizialmente attribuito la violazione a un agente AI esterno sconosciuto. La piattaforma aveva anche già creato una ricostruzione di oltre 17.000 eventi registrati durante l'episodio.
Un modello AI cinese open-weight ha aiutato con la pulizia
Inizialmente, Hugging Face si è rivolto a un modello statunitense leader per tentare di analizzare l'attacco, ma il modello non è stato di grande aiuto a causa delle sue elevate difese informatiche. I difensori si sono invece rivolti a GLM 5.2, un modello open-weight dell'azienda cinese Z.ai, poiché il sistema commerciale americano non riusciva a distinguere tra un difensore che analizza un attacco e un attaccante che lo esegue.
Tuttavia, non tutti vedono la situazione come un nuovo fallimento dell'IA. "Questo non è un problema di IA. È negligenza su uno standard di 40 anni", ha dichiarato il consulente di sicurezza Davi Ottenheimer a WIRED, sostenendo che "'altamente isolato' e 'fuggito attraverso l'unico buco che abbiamo lasciato aperto' non possono essere entrambi veri". Il ricercatore di sicurezza Niels Provos è stato più diretto, affermando nello stesso rapporto che la violazione "non avrebbe dovuto accadere".
OpenAI definisce questo incidente "senza precedenti"
OpenAI ha definito l'episodio "un incidente informatico senza precedenti, che coinvolge capacità informatiche all'avanguardia" e ha dichiarato che sta rafforzando i controlli infrastrutturali, anche a scapito della velocità di ricerca, mentre le vulnerabilità vengono patchate. La principale azienda di IA ha anche aggiunto Hugging Face al suo programma di accesso fidato, fornendo all'azienda una versione di GPT-5.6 Sol ottimizzata per aiutare i difensori.
L'incidente OpenAI-Hugging Face è il primo caso noto di test di benchmarking di un modello di IA che diventa un vero e proprio attacco informatico. Si verifica anche un giorno dopo che OpenAI ha divulgato un incidente separato in cui un modello in fase pre-rilascio è sfuggito a una sandbox per pubblicare su GitHub.
OpenAI e Hugging Face hanno annunciato che pubblicheranno entrambi un'analisi forense completa dell'evento al pubblico una volta completata l'indagine.
Se stai leggendo questo, sei già avanti. Resta così con la nostra newsletter.
Opeyemi Olanrewaju
Opeyemi è specializzato nella creazione e nel perfezionamento di contenuti di alta qualità focalizzati su criptovalute, mercati finanziari globali ed economia. Si è laureato presso l'Università di Ibadan con una laurea in Medicina (MBBS). Ha lavorato come Caporedattore della pubblicazione editoriale del suo Ateneo e precedentemente presso CFA. Da oltre sei anni, si occupa di salvaguardare l'unicità dei contenuti in qualità di redattore capo per Cryptopolitan.
