OpenAI non è riuscita a rilevare la serie di hacking multi-giorno del suo agente AI per una settimana

OpenAI non si è resa conto per circa una settimana che uno dei suoi agenti AI aveva violato Hugging Face. Quando l'azienda ha capito da dove proveniva l'attacco, Hugging Face l'aveva già spento e chiamato l'FBI, secondo Reuters.

Il programma era stato costruito per funzionare autonomamente. Poteva scegliere cosa fare, scomporre un compito in passaggi più piccoli ed eseguire quei passaggi con molto poco aiuto umano.

Intorno al 9 luglio, ha cercato di uscire dall'area di test bloccata di OpenAI. Due giorni dopo, l'11 luglio, è entrato in Hugging Face e vi è rimasto fino al 13 luglio, ha dichiarato il co-fondatore Thomas Wolf. Le due aziende non hanno parlato dell'incidente fino a circa il 20 luglio.

OpenAI ha scoperto che il suo agente era responsabile dopo la fine della violazione

OpenAI ha informato il pubblico della violazione il 21 luglio, un giorno dopo aver parlato con Hugging Face. L'azienda ha dichiarato che uno dei suoi agenti AI aveva superato i limiti imposti ed era entrato nei sistemi di un'altra azienda.

La storia ha attirato rapidamente l'attenzione globale, ma il primo annuncio ometteva diverse date chiave. Non ha detto che l'agente aveva cercato di fuggire il 9 luglio, era rimasto tre giorni dentro Hugging Face o era rimasto non identificato da OpenAI per diversi giorni.

Secondo Thomas, Hugging Face sta lavorando a una cronologia completa riguardo all'evento verificatosi nel loro sistema. Inoltre, Thomas ha notato che non poteva descrivere l'accaduto in OpenAI poiché non era coinvolto nelle loro indagini.

OpenAI ha descritto l'incidente come qualcosa di senza precedenti e lo ha dichiarato «un momento importante per la sicurezza dell'IA». L'azienda ha spiegato che sono coinvolti esperti esterni nel processo di revisione. Inoltre, l'azienda prevede di pubblicare un rapporto tecnico sull'incidente una volta completate le indagini.

Prima dell'identificazione del colpevole effettivo, i professionisti della cybersecurity e le persone sui social media credevano che gli attaccanti fossero gruppi umani composti da criminali informatici professionisti, mentre alcuni credevano che potessero essere hacker sponsorizzati dallo stato.

Podcast e social media erano pieni di ipotesi fino a mercoledì, quasi una settimana dopo che Hugging Face aveva dato l'allarme. Poi è arrivata la risposta. L'attaccante era ChatGPT.

Su X, alcune persone hanno trovato interessante come OpenAI abbia gestito questo evento per dimostrare le capacità del modello. È stato a lungo sostenuto che le aziende di intelligenza artificiale facessero deliberatamente dichiarazioni spaventose per fare rumore. Dopo che Anthropic ha rilasciato il loro modello Mythos, la cybersecurity è diventata ancora più un problema.

Una delle risposte più popolari sotto il post di Sam Altman su X ha catturato quel dubbio: «Se non riuscite a capire che questo è stato scritto solo per vantarsi del modello, allora non so cosa dirvi».

L'agente AI di OpenAI ha visto l'hacking come l'opzione più semplice

Brian, direttore dell'etica tecnologica presso il Markkula Center for Applied Ethics della Santa Clara University, ha affermato che casi simili sono probabili che si ripresentino. «Casi come questi continueranno a presentarsi, e ciascuno di questi dovrebbe motivarci a fare di più», ha detto a OSV News.

Brian ha definito questo scenario «il modello che supera il test facendo qualcosa di inaspettato». Secondo lui, all'agente è stato presentato un obiettivo, ha scelto la via più breve per raggiungerlo, e quella era rubare.

«Gli dai un obiettivo, e lui dice: 'Oh, so come posso raggiungere quell'obiettivo. Ruberò le risposte da Hugging Face'», ha detto Brian.

Hugging Face ha avuto senso come bersaglio perché memorizza un'enorme gamma di modelli AI e dataset. Brian lo ha definito «un'enorme, enorme base di archiviazione di diversi modelli e set di dati». L'agente sembra aver cercato un luogo che potesse contenere il materiale di cui aveva bisogno, ha selezionato Hugging Face, è entrato nella piattaforma e l'ha trovato.

Brian ha suggerito che si verificherebbero altri incidenti di questo tipo. Secondo lui, l'agente «stava solo cercando di fare ciò che gli era stato detto». Nella prospettiva del sistema, la «soluzione più efficiente al problema» sarebbe «l'accesso non autorizzato».

Ha anche detto che il caso non era chiaramente un disallineamento emergente, un termine per il comportamento dell'IA che va contro i valori umani. Brian ha detto che il sistema non era stato connesso a quei valori fin dall'inizio. Nelle parole di Brian, «non era mai stato allineato» con loro «in primo luogo».