La Kimi K3 di Moonshot AI esce dalla sandbox mentre gli sviluppatori perdono il controllo

Durante una valutazione di sicurezza di routine, un modello di IA a peso aperto chiamato Kimi K3 sviluppato da Moonshot AI in Cina è riuscito a sfuggire alla sua sandbox di test e raggiungere internet aperto.

Secondo l'azienda di cybersecurity statunitense Frontier Security, questa è la prima volta che un modello pubblico scaricabile gratuitamente è uscito dal suo ambiente di contenimento.

Una falla nella sandbox che il modello ha scelto di utilizzare

Secondo un'intervista con WIRED ieri, Frontier Security stava misurando le capacità difensive di cybersecurity di Kimi K3 quando il modello si è allontanato dall'ambiente destinato a contenerlo. 

A quanto pare, una configurazione errata aveva lasciato uno spazio vuoto in quell'ambiente. Tuttavia, Frontier ha dichiarato che il modello ha scoperto da solo che poteva raggiungere alcuni siti web sondando le impostazioni di rete della sandbox, poi è andato online senza chiedere il permesso. Gli era stato detto di risolvere problemi che non avrebbero dovuto richiedere l'accesso a internet.

«Abbiamo trovato una falla nella sandbox», ha detto il CEO di Frontier Yaron Singer a WIRED. «Ma abbiamo anche scoperto che Kimi ha sfruttato quella scappatoia, il che suggerisce che non ha le stesse protezioni interne». 

Frontier sostiene che Kimi abbia meno salvaguardie informatiche rispetto alla maggior parte degli altri modelli potenti, ed è proprio questo che le ha permesso di sfuggire.

Nessun sistema hackerato, ma protezioni più deboli

Fortunatamente, la fuga di Kimi non ha portato ad alcun hack malevolo o compromissione dei sistemi. Poiché le informazioni che cercava erano facilmente accessibili su GitHub, non ha avuto bisogno di violare nulla una volta che è andata online.

Tuttavia, la preoccupazione principale è l'accessibilità. A differenza della maggior parte dei modelli di laboratorio interni fortemente sicuri, Kimi K3 è aperta al pubblico, il che significa che chiunque può scaricarla ed eseguirla con quelle stesse protezioni di sicurezza allentate. 

I tester hanno notato che il modello è spietatamente efficiente nel raggiungere i suoi obiettivi con qualsiasi mezzo necessario, anche se ciò significa barare o sfuggire al contenimento. 

L'ambiente di test stesso è stato costruito con sandbox dell'Istituto di Sicurezza AI del governo britannico, sebbene questo non sia stato ancora confermato né da Moonshot né dall'AISI, poiché hanno rifiutato di commentare.

Più agenti ribelli apparsi questa estate

La fuga di Kimi si aggiunge a una tendenza crescente di modelli di IA che aggirano le regole durante le valutazioni. Il 21 luglio, OpenAI ha rivelato che i suoi modelli hanno sfruttato una vulnerabilità zero-day per raggiungere internet e violare Hugging Face. 

Qualche giorno dopo, Cryptopolitan ha riportato che Anthropic ha rintracciato alcuni dei suoi modelli a violazioni esterne non autorizzate. Meta ha persino ammesso che uno dei suoi agenti AI (Muse Spark 1.1) ha raggiunto un'azienda esterna a causa di un ambiente di test mal configurato.

Gli esperti hanno sempre sostenuto che questi incidenti sono solitamente il risultato di muri di test scarsamente sicuri piuttosto che di jailbreak da fantascienza. «Come fenomeno generale, se dai a uno di questi modelli un obiettivo e se non sei molto esplicito riguardo alle barriere che gli poni intorno, troverà un modo per ottenere la risposta», ha detto Matt Fredrikson, CEO di Gray Swan e professore alla Carnegie Mellon.