I modelli OpenAI escono dal test box e hackerano Hugging Face per barare nella valutazione
- OpenAI ha rivelato che GPT-5.6 Sol e un modello non ancora rilasciato, più potente, sono riusciti a eludere un ambiente di test sigillato e a violare il database di produzione di Hugging Face.
- I modelli sono stati eseguiti con i filtri di sicurezza disattivati per un benchmark di sicurezza informatica e sono sfuggiti sfruttando un proxy di pacchetto difettoso per rubare le risposte del benchmark.
- Si tratta del primo caso noto in cui la valutazione di un modello si è trasformata in una violazione reale dei dati di un'azienda esterna.
OpenAI ha dichiarato martedì che due dei suoi modelli, tra cui il GPT-5.6 Sol, disponibile pubblicamente, sono sfuggiti la scorsa settimana a un ambiente di valutazione protetto e si sono introdotti nei sistemi di produzione di Hugging Face per rubare le risposte a un test di hacking a cui erano sottoposti per la valutazione.
I modelli OpenAI pianificano una grande fuga
OpenAI ha testato i suoi modelli su ExploitGym, un benchmark pubblico che fornisce a un agente di intelligenza artificiale un elenco di vulnerabilità software reali e verifica se il modello è in grado di riprodurle. Queste valutazioni vengono effettuate disabilitando deliberatamente le barriere di protezione che bloccano le attività informatiche ad alto rischio installate in produzione, per garantire che il laboratorio possa testare la reale capacità di un modello di intelligenza artificiale.
L'ambiente di test (sandbox) non avrebbe dovuto avere alcun modo di accedere a Internet. Esisteva, tuttavia, una connessione esterna che funzionava tramite un proxy di cache del registro dei pacchetti, un server di caching che consente agli sviluppatori di scaricare librerie di codice da fonti esterne senza una connessione attiva.
I modelli hanno individuato e sfruttato una falla precedentemente sconosciuta in questo proxy, dopodiché hanno aumentato i propri privilegi e si sono spostati all'interno della rete di ricerca di OpenAI fino a raggiungere una macchina con accesso a Internet.
Attacco hacker a Hugging Face
Una volta online, i modelli hanno dedotto che Hugging Face, la piattaforma di hosting open source per l'IA, probabilmente ospitava i modelli, i dataset e le chiavi di soluzione di ExploitGym. Da lì, hanno iniziato la caccia.
"I modelli hannodente concatenato vulnerabilità nell'ambiente di ricerca di OpenAI e nell'infrastruttura di produzione di Hugging Face per ottenere soluzioni di test direttamente dal database di produzione di Hugging Face", ha scritto OpenAI nel post del blog. Un attacco ha combinatodentrubate e bug zero-day per raggiungere un percorso di esecuzione di codice remoto sui server di Hugging Face.
Il team di sicurezza di OpenAI ha contattato Hugging Face dopo aver notato un traffico strano e anomalo. A quel punto, Hugging Face aveva già rilevato e contenuto l'intrusione dei modelli di intelligenza artificiale dalla propria infrastruttura.
Inizialmente, l'azienda aveva attribuito la violazione a un agente di intelligenza artificiale esterno non identificato. La piattaforma aveva inoltre già ricostruito oltre 17.000 eventi registrati durante l'episodio.
Un modello di IA cinese a peso aperto ha contribuito alla pulizia
Inizialmente, Hugging Face ha cercato di analizzare l'attacco utilizzando un modello statunitense di punta, ma questo si è rivelato inutile a causa delle sue sofisticate difese informatiche. I difensori si sono quindi rivolti a GLM 5.2, un modello open-weight della società cinese Z.ai, poiché il sistema commerciale americano non era in grado di distinguere tra un difensore che analizzava un attacco e un attaccante che lo eseguiva.
Tuttavia, non tutti considerano la situazione come un nuovo fallimento dell'IA. "Questo non è un problema di IA. È negligenza secondo uno standard vecchio di 40 anni", ha dichiarato a WIRED il consulente di sicurezza Davi Ottenheimer, sostenendo che "'altamente isolato' e 'fuggito attraverso l'unica falla che abbiamo lasciato aperta' non possono essere entrambe vere". Il ricercatore di sicurezza Niels Provos è stato più diretto, affermando nello stesso rapporto che la violazione "non sarebbe dovuta accadere".
OpenAI definisce questodent "senzadent"
OpenAI ha definito l'episodio "un incidente informatico senza precedentidentchedentcapacità informatiche all'avanguardia" e ha affermato di star rafforzando i controlli infrastrutturali, anche a costo di rallentare la ricerca, mentre le vulnerabilità vengono corrette. La principale azienda di intelligenza artificiale ha anche aggiunto Hugging Face al suo programma di accesso affidabile, dotandosi di una versione di GPT-5.6 Sol ottimizzata per supportare i difensori.
L'dent " è il primo caso noto in cui i test di benchmark di un modello di intelligenza artificiale si sono trasformati in un vero e proprio attacco informatico. L'episodio si verifica inoltre appena un giorno dopo che OpenAI ha rivelato un altrodent , in cui un modello in fase di pre-rilascio è sfuggito a un ambiente di test per essere pubblicato su GitHub.
OpenAI e Hugging Face hanno annunciato che, una volta concluse le indagini, pubblicheranno un'analisi forense completa dell'evento.
Se stai leggendo questo, sei già un passo avanti. Rimani al passo con i tempi iscrivendoti alla nostra newsletter.
Opeyemi Olanrewaju
Opeyemi è specializzato nella creazione e nel perfezionamento di contenuti di alta qualità incentrati su criptovalute, mercati finanziari globali ed economia. Si è laureato in Medicina e Chirurgia presso l'Università di Ibadan. Ha lavorato come caporedattore della pubblicazione universitaria e in precedenza presso CFA. Per oltre sei anni, ha contribuito a preservare l'unicità del sito in qualità di responsabile editoriale di Cryptopolitan.
