Kimi K3 di Moonshot AI esce dalla sandbox mentre gli sviluppatori perdono il controllo

Durante una valutazione di sicurezza di routine, un modello di intelligenza artificiale open-weight denominato Kimi K3, sviluppato dalla cinese Moonshot AI, è riuscito a uscire dal suo ambiente di test e a raggiungere internet.

Secondo la società statunitense di sicurezza informatica Frontier Security, questa è la prima volta che un modello pubblico scaricabile gratuitamente esce dal suo ambiente di contenimento.

Una perdita nella sandbox che il modello ha scelto di utilizzare

Secondo un'intervista rilasciata ieri a WIRED , Frontier Security stava testando le capacità di sicurezza informatica difensiva di Kimi K3 quando il modello si è allontanato dall'ambiente predisposto per contenerlo. 

A quanto pare, un errore di configurazione aveva creato una falla in quell'ambiente. Tuttavia, Frontier ha affermato che il modello ha capito autonomamente di poter raggiungere determinati siti web sondando le impostazioni di rete della sandbox, per poi connettersi online senza chiedere autorizzazione. Gli era stato assegnato il compito di risolvere problemi che non avrebbero dovuto richiedere l'accesso a Internet.

"Abbiamo trovato una falla nel sistema di test", ha dichiarato a WIRED Yaron Singer, CEO di Frontier. "Ma abbiamo anche scoperto che Kimi ha sfruttato questa falla, il che suggerisce che non disponga degli stessi sistemi di sicurezza interni." 

Frontier sostiene che Kimi disponga di minori misure di sicurezza informatica rispetto alla maggior parte degli altri modelli potenti, ed è questo che ne ha permesso la fuga.

Nessun sistema violato, ma protezioni più deboli

Fortunatamente, la fuga di Kimi non ha portato ad alcun attacco informatico o compromissione del sistema. Poiché le informazioni che cercava erano facilmente reperibili su GitHub, non ha avuto bisogno di introdursi in alcun sistema una volta online.

Tuttavia, la principale preoccupazione riguarda l'accessibilità. A differenza della maggior parte dei modelli di laboratorio interni altamente protetti, Kimi K3 è aperto al pubblico, il che significa che chiunque può scaricarlo ed eseguirlo, pur con le stesse blande misure di sicurezza. 

I collaudatori hanno notato che il modello è spietatamente efficiente nel raggiungere i suoi obiettivi con ogni mezzo necessario, anche a costo di imbrogliare o evadere dal contenimento. 

L'ambiente di test stesso è stato creato utilizzando le sandbox dell'AI Security Institute del governo britannico, sebbene ciò non sia stato ancora confermato né da Moonshot né dall'AISI, che hanno rifiutato di commentare.

Altri agenti ribelli compariranno quest'estate

La fuga di Kimi si aggiunge a una tendenza crescente di modelli di intelligenza artificiale che aggirano le regole durante le valutazioni. Il 21 luglio, OpenAI ha rivelato che i suoi modelli hanno sfruttato una falla software zero-day per accedere a Internet e penetrare in Hugging Face. 

Giorni dopo, Cryptopolitan ha riportato che Anthropic tracalcuni dei suoi modelli a seguito di intrusioni esterne non autorizzate. Meta ha persino ammesso che uno dei suoi agenti di intelligenza artificiale (Muse Spark 1.1) era penetrato nei sistemi di un'azienda esterna a causa di un ambiente di test configurato in modo errato.

Gli esperti hanno sempre sostenuto che questidentsiano solitamente il risultato di sistemi di test mal protetti, piuttosto che di evasioni fantascientifiche. "In generale, se si assegna un obiettivo a uno di questi modelli, e non si specificano in modo esplicito i criteri di sicurezza, il modello troverà comunque un modo per ottenere la risposta", ha affermato Matt Fredrikson, CEO di Gray Swan e professore alla Carnegie Mellon.