Kimi K3 è indietro rispetto ai modelli di frontiera statunitensi nei compiti di attacco informatico, trovano i laboratori UK-US

Un rapporto di valutazione congiunto ha affermato che Kimi K3 di Moonshot AI non è all'altezza dei più forti sistemi di IA americani quando si tratta di creare exploit software ed eseguire attacchi di rete simulati. 

L'Istituto di sicurezza dell'IA del Regno Unito (AISI) e il Centro di standardizzazione e innovazione sull'IA degli Stati Uniti (CAISI) hanno condotto la valutazione e hanno reso pubblici i loro risultati il 23 luglio.

Moonshot dovrebbe rendere pubblici i pesi completi del modello il 27 luglio, e i risultati affermano che le misure di sicurezza di Kimi K3 non hanno impedito di aiutare con il lavoro cibernetico offensivo.

Cosa ha scoperto la valutazione congiunta su Kimi K3?

Il due istituti hanno esaminato Kimi K3 tramite ExploitBench, un test della Carnegie Mellon che valuta fino a che punto un modello può spingere un exploit fino al completamento. Si basa su 41 vulnerabilità trovate nel motore V8 di Chrome dopo il 2023. Kimi K3 ha ottenuto il 32%. I modelli leader degli Stati Uniti hanno fatto una media del 76,2%, e il GLM-5.2 cinese si è classificato al 24%.

L'esecuzione di codice arbitrario, che concede a un attaccante il controllo completo di una macchina target, è l'esito più pericoloso del benchmark. I modelli statunitensi lo hanno raggiunto in 20 delle 41 attività in media. Kimi K3 non l'ha raggiunto in nessuna.

Anche GLM-5.2 non è riuscito a raggiungerlo. Quindi, sebbene Kimi K3 ora guidi i rivali a pesi aperti nella capacità cibernetica, è carente nel punto in cui un attacco reale causerebbe i danni maggiori.

A metà strada di una violazione di rete a 32 step

Il secondo test, chiamato "The Last Ones", inserisce un modello in una rete aziendale simulata con circa 20 host distribuiti su quattro subnet. 

Ci vorrebbero circa 20 ore a uno specialista umano per completare l'intero percorso di 32 passaggi. Kimi K3 ha raggiunto in media il passaggio 17, mentre i modelli statunitensi più capaci hanno raggiunto in media 28,5 e GLM-5.2 ha gestito 11.

Tuttavia, i valutatori hanno notato che Kimi K3 ha completato l'intera catena una volta su dieci tentativi, rimanendo al di sotto del limite di 100 milioni di token stabilito dai valutatori. 

I migliori modelli statunitensi l'hanno risolta sei o sette volte su dieci. Gli istituti hanno interpretato quel successo isolato come prova che il modello possiede la capacità; tuttavia, non può attivarla su richiesta. Hanno notato che la gamma non ha difensori attivi e un percorso integrato verso l'obiettivo, il che favorisce qualsiasi attaccante.

Kimi K3 ha salvaguardie che gli permettono di dire di no?

I valutatori hanno sottolineato che la disponibilità del modello a eseguire compiti senza opposizione rappresentava un rischio maggiore. Hanno dichiarato: "Kimi K3 è in grado di attaccare autonomamente sistemi aziendali piccoli, debolmente difesi e vulnerabili quando viene istruito a farlo e gli viene fornito l'accesso iniziale alla rete." 

L'AISI ha in precedenza avvertito che la crescente capacità dei modelli open-source crea "un rischio persistente e irreversibile di abuso". Una volta che i pesi di Kimi K3 saranno pubblici il 27 luglio, il suo comportamento non potrà più essere limitato da chi lo ospita.

Perché i punteggi cibernetici di Kimi K3 sono indietro rispetto ai punteggi generali?

Prima di questo rapporto, Kimi K3 aveva benchmark generali solidi, e questo non è cambiato; tuttavia, ha messo in evidenza le sue carenze quando le sue capacità cibernetiche sono state sottoposte a test. Il modello cinese da 2,8 trilioni di parametri avrebbe superato Claude 4.8 e GPT-5.5 e si è anche classificato primo in alcune classifiche.

Secondo gli istituti, questo potrebbe essere possibile a causa del modo in cui il modello potrebbe essere stato costruito.

Direttore scientifico della Casa Bianca Michael Kratsios ha accusato Moonshot il 22 luglio di aver distillato il modello Fable di Anthropic, utilizzando i suoi output come dati di addestramento. 

I classifier di Anthropic bloccano i prompt cibernetici offensivi avanzati. Ciò significa che un set di addestramento estratto dalle risposte di Claude non offrirebbe materiale sufficiente su quelle specifiche abilità. 

Kimi K3 non dispone di quei classifier, e questo gli ha permesso di eguagliare i modelli occidentali nel lavoro generale, pur rimanendo indietro nella capacità di sfruttamento.