Kimi K3 est en retard par rapport aux modèles de pointe américains sur les tâches de cyberattaque, trouvent les laboratoires UK-US
- Une évaluation conjointe Royaume-Uni/États-Unis a révélé que Kimi K3 de Moonshot AI est nettement inférieur aux meilleurs modèles américains en matière de capacités cyberoffensives.
- Kimi K3 n'a obtenu aucune exécution de code arbitraire, le résultat le plus dangereux, sur aucun des 41 tests.
- Moonshot prévoit d'ouvrir les poids complets de Kimi K3 sous licence libre le 27 juillet ; une fois publiés, ses capacités ne pourront plus être restreintes par un seul hôte.
Un rapport d'évaluation conjoint a déclaré que Kimi K3 de Moonshot AI n'est pas à la hauteur des meilleurs systèmes d'IA américains lorsqu'il s'agit de créer des exploits logiciels et d'exécuter des attaques réseau simulées.
L'Institut de sécurité de l'IA du Royaume-Uni (AISI) et le Centre américain de normalisation et d'innovation en IA (CAISI) ont mené l'évaluation, et ils ont rendu leurs conclusions publiques le 23 juillet.
Moonshot devrait ouvrir les poids complets du modèle au public le 27 juillet, et les conclusions indiquent que les garde-fous de Kimi K3 n'ont rien fait pour l'empêcher d'aider aux travaux cyber offensifs.
Que l'évaluation conjointe a-t-elle découvert sur Kimi K3 ?
Le deux instituts ont évalué Kimi K3 via ExploitBench, un test de Carnegie Mellon qui évalue jusqu'où un modèle peut pousser un exploit jusqu'à son achèvement. Il est basé sur 41 vulnérabilités trouvées dans le moteur V8 de Chrome après 2023. Kimi K3 a obtenu 32 %. Les meilleurs modèles américains ont obtenu en moyenne 76,2 %, et le GLM-5.2 chinois est arrivé à 24 %.
L'exécution de code arbitraire, qui donne à un attaquant un contrôle total sur une machine cible, est le résultat le plus dangereux du benchmark. Les modèles américains y sont parvenus sur 20 des 41 tâches en moyenne. Kimi K3 n'y est parvenu sur aucune.
GLM-5.2 a également échoué à y parvenir. Ainsi, bien que Kimi K3 domine désormais les concurrents à poids ouverts en matière de capacité cyber, il est en retard au point où une attaque réelle causerait le plus de dégâts.
À mi-chemin d'une intrusion réseau en 32 étapes
Le deuxième test, appelé « The Last Ones », place un modèle dans un réseau d'entreprise simulé avec environ 20 hôtes répartis sur quatre sous-réseaux.
Il faudrait à un spécialiste humain environ 20 heures pour parcourir l’intégralité du chemin en 32 étapes. Kimi K3 a atteint l’étape 17 en moyenne, tandis que les modèles américains les plus performants ont atteint 28,5 en moyenne, et GLM-5.2 a atteint 11.
Cependant, les évaluateurs ont noté que Kimi K3 a terminé la chaîne entière une fois sur dix essais et est resté en dessous du plafond de 100 millions de tokens fixé par les évaluateurs.
Les meilleurs modèles américains y sont parvenus six ou sept fois sur dix. Les instituts ont interprété ce succès unique comme la preuve que le modèle en a la capacité ; toutefois, il ne peut pas la mobiliser à la demande. Ils ont noté que la plage n’a pas de défenseurs actifs et dispose d’un chemin intégré vers la cible, ce qui flatte tout attaquant.
Kimi K3 dispose-t-il de garde-fous qui lui permettent de dire non ?
Les évaluateurs ont souligné que la volonté du modèle d’exécuter des tâches sans résistance constituait un risque majeur. Ils ont déclaré : « Kimi K3 est capable d’attaquer de manière autonome de petits systèmes d’entreprise faiblement défendus et vulnérables lorsqu’il y est invité et qu’il dispose d’un accès réseau initial. »
L’AISI a précédemment mis en garde contre le fait que la montée en puissance des modèles ouverts crée « un risque persistant et irréversible de mauvaise utilisation ». Une fois les poids de Kimi K3 rendus publics le 27 juillet, son comportement ne pourra plus être contrôlé par l’hébergeur.
Pourquoi les scores cyber de Kimi K3 sont-ils inférieurs à ses scores généraux ?
Avant ce rapport, Kimi K3 affichait de solides résultats aux benchmarks généraux, et cela n’a pas changé ; cependant, cela a mis en lumière ses lacunes lorsque ses capacités cyber ont été mises à l’épreuve. Le modèle chinois de 2,8 billions de paramètres a battu Claude 4.8 et GPT-5.5 et a également figuré en tête de certains classements.
Selon les instituts, cela pourrait être dû à la manière dont le modèle a été construit.
Le directeur scientifique de la Maison Blanche Michael Kratsios a accusé Moonshot le 22 juillet d’avoir distillé le modèle Fable d’Anthropic, en utilisant ses sorties comme données d’entraînement.
Les classificateurs d’Anthropic bloquent les invites cyber offensives avancées. Cela signifie qu’un jeu de données extrait des réponses de Claude ne fournirait pas suffisamment de matériel sur ces compétences exactes.
Kimi K3 ne dispose pas de ces classificateurs, ce qui lui a permis d’égaler les modèles occidentaux sur les tâches générales tout en restant en deçà en matière de capacité d’exploitation.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
FAQ
Comment Kimi K3 s'est-il classé face aux modèles américains dans le développement d'exploits ?
Sur le test ExploitBench, Kimi K3 a obtenu 32 %, tandis que les modèles américains leaders affichaient une moyenne de 76,2 %. De plus, il n'a réussi l'exécution de code arbitraire sur aucun des 41 tests, contre 20 sur 41 pour les meilleurs modèles américains.
Kimi K3 a-t-il refusé d'aider à mener des cyberattaques ?
Non. Les évaluateurs du UK AISI et du CAISI ont indiqué que les garde-fous de Kimi K3 n'ont pas empêché le modèle de tenter de développer des exploits ou de mener des opérations cyberoffensives lorsqu'il y était invité.
Pourquoi Kimi K3 pourrait-il être performant sur des tâches générales mais faible en cybersécurité ?
Les instituts suggèrent que si Moonshot a entraîné Kimi K3 sur des sorties de Claude, comme l'affirment les responsables américains, les classificateurs d'Anthropic bloquent les requêtes offensives avancées en cybersécurité ; par conséquent, ces compétences seraient sous-représentées dans les données d'entraînement.
Hannah Collymore
Hannah est rédactrice et éditrice avec près de dix ans d'expérience dans la rédaction de blogs et le reporting d'événements dans l'espace crypto. Chez Cryptopolitan, Hannah contribue à la page actualités, en rapportant et en analysant les derniers développements dans les secteurs de la DeFi, des RWA, de la régulation des crypto-monnaies, de l'IA et des technologies de pointe. Elle est diplômée de l'Université Arcadia avec un diplôme en administration des affaires.
