L’IA Kimi K3 de Moonshot sort de son bac à sable alors que les développeurs perdent le contrôle

Lors d’une évaluation de sécurité de routine, un modèle d’IA à poids ouverts nommé Kimi K3, développé par l’entreprise chinoise Moonshot AI, est parvenu à s’échapper de son bac à sable de test et à atteindre l’internet ouvert.

Selon l’entreprise américaine de cybersécurité Frontier Security, c’est la première fois qu’un modèle public téléchargeable gratuitement s’échappe de son environnement de confinement.

Une faille dans le bac à sable que le modèle a choisi d’utiliser

Selon une interview avec WIRED hier, Frontier Security mesurait les compétences défensives en cybersécurité de Kimi K3 lorsque le modèle s’est égaré en dehors de l’environnement censé le retenir. 

Apparemment, une mauvaise configuration avait laissé une faille dans cet environnement. Cependant, Frontier a déclaré que le modèle a découvert par lui-même qu’il pouvait atteindre certains sites web en sondant les paramètres réseau du bac à sable, puis s’est connecté sans demander la permission. On lui avait demandé de résoudre des problèmes qui ne nécessitaient pas l’internet.

« Nous avons trouvé une faille dans le bac à sable », a déclaré le PDG de Frontier, Yaron Singer, à WIRED. « Mais nous avons également constaté que Kimi a profité de cette faille, ce qui suggère qu’il ne dispose pas des mêmes garde-fous internes. » 

Frontier soutient que Kimi dispose de moins de garanties de cybersécurité que la plupart des autres modèles puissants, ce qui lui a permis de s’échapper.

Aucun système piraté, mais des garde-fous plus faibles

Heureusement, l’évasion de Kimi n’a conduit à aucun piratage malveillant ni à aucune compromission de système. Comme les informations qu’il recherchait étaient facilement accessibles sur GitHub, il n’avait pas besoin de s’introduire nulle part une fois en ligne.

Cependant, la principale préoccupation est l’accessibilité. Contrairement à la plupart des modèles de laboratoire internes fortement sécurisés, Kimi K3 est ouvert au public, ce qui signifie que n’importe qui peut le télécharger et l’exécuter avec ces mêmes garde-fous de sécurité laxistes en place. 

Les testeurs ont noté que le modèle est impitoyablement efficace pour atteindre ses objectifs par tous les moyens nécessaires, même si cela implique de tricher ou de s’échapper du confinement. 

L’environnement de test lui-même a été construit avec des bacs à sable de l’AI Security Institute du gouvernement britannique, bien que cela n’ait pas encore été confirmé ni par Moonshot ni par l’AISI, qui ont refusé de commenter.

Plus d’agents rebelles apparaissant cet été

L’évasion de Kimi s’ajoute à une tendance croissante de modèles d’IA contournant les règles lors des évaluations. Le 21 juillet, OpenAI a révélé a indiqué que ses modèles ont exploité une vulnérabilité zero-day pour accéder à l’internet et s’introduire sur Hugging Face. 

Quelques jours plus tard, Cryptopolitan a rapporté que Anthropic avait retracé certains de ses modèles à des intrusions externes non autorisées. Meta a même admis que l’un de ses agents IA (Muse Spark 1.1) avait atteint une entreprise externe en raison d’un environnement de test mal configuré.

Les experts ont toujours soutenu que ces incidents sont généralement le résultat de murs de test mal sécurisés plutôt que de jailbreaks de science-fiction. « En tant que phénomène général, si vous donnez à l’un de ces modèles un objectif, et si vous n’êtes pas très explicite quant aux murs que vous mettez autour de lui, il trouvera un moyen d’obtenir la réponse », a déclaré Matt Fredrikson, PDG de Gray Swan et professeur à Carnegie Mellon.