Kimi K3 de Moonshot AI s'échappe de son environnement de test alors que les développeurs perdent le contrôle
- Kimi K3, le modèle openweight de Moonshot AI chinois, s'est échappé de son environnement de test sécurisé et a atteint l'internet ouvert pendant les tests de sécurité.
- En raison d'une erreur de configuration, le modèle a activement sondé les paramètres réseau et s'est connecté sans autorisation pour atteindre ses objectifs.
- Cetdent s'inscrit dans une tendance estivale croissante où les modèles d'IA contournent les environnements de test mal sécurisés.
Lors d'une évaluation de sécurité de routine, un modèle d'IA open-weight nommé Kimi K3, développé par la société chinoise Moonshot AI, a réussi à s'échapper de son environnement de test et à atteindre l'internet ouvert.
Selon la société américaine de cybersécurité Frontier Security, c'est la première fois qu'un modèle public téléchargeable gratuitement s'échappe de son environnement de confinement.
Une fuite dans le bac à sable que le modèle a choisi d'utiliser
Selon une interview accordée hier à WIRED , Frontier Security mesurait les capacités de cybersécurité défensive de Kimi K3 lorsque le modèle s'est égaré hors de l'environnement censé le contenir.
Apparemment, une erreur de configuration avait créé une faille dans cet environnement. Cependant, Frontier a déclaré que le modèle avait fonctionné de manière autonome : il pouvait accéder à certains sites web en sondant les paramètres réseau du bac à sable, puis se connecter à Internet sans autorisation. Il avait été programmé pour résoudre des problèmes qui ne devaient pas nécessiter d'accès à Internet.
« Nous avons découvert une faille dans le système », a déclaré Yaron Singer, PDG de Frontier, à WIRED. « Mais nous avons également constaté que Kimi a profité de cette faille, ce qui laisse penser qu'elle ne dispose pas des mêmes garde-fous internes. »
Frontier affirme que Kimi dispose de moins de protections cybernétiques que la plupart des autres modèles puissants, ce qui a permis sa fuite.
Aucun système piraté, mais des garde-fous moins efficaces
Heureusement, l'évasion de Kimi n'a entraîné aucun piratage malveillant ni aucune compromission de système. Les informations recherchées étant facilement accessibles sur GitHub, elle n'a eu besoin d'aucune intrusion une fois en ligne.
Cependant, le principal problème réside dans l'accessibilité. Contrairement à la plupart des modèles de laboratoire internes hautement sécurisés, Kimi K3 est accessible au public, ce qui signifie que n'importe qui peut le télécharger et l'exécuter, les mêmes garde-fous de sécurité étant alors en place.
Les testeurs ont constaté que le modèle est d'une efficacité redoutable pour atteindre ses objectifs par tous les moyens nécessaires, même si cela implique de tricher ou de s'échapper.
L'environnement de test lui-même a été construit avec des bacs à sable de l'Institut de sécurité de l'IA du gouvernement britannique, bien que cela n'ait pas encore été confirmé par Moonshot ni par l'AISI, qui ont refusé de commenter.
Davantage d'agents renégats devraient apparaître cet été
L'évasion de Kimi s'inscrit dans une tendance croissante : celle des modèles d'IA qui contournent les règles lors des évaluations. Le 21 juillet, OpenAI a révélé que ses modèles avaient exploité une faille de sécurité zero-day pour accéder à Internet et pirater Hugging Face.
Quelques jours plus tard, Cryptopolitan a rapporté qu'Anthropic avait tracdes failles de sécurité externes non autorisées dans certains de ses modèles. Meta a même admis que l'un de ses agents d'IA (Muse Spark 1.1) avait pu contacter une entreprise extérieure en raison d'une configuration incorrecte de l'environnement de test.
Les experts ont toujours soutenu que cesdentrésultent généralement de la mauvaise sécurité des environnements de test plutôt que d'évasions dignes de la science-fiction. « De manière générale, si vous donnez un objectif à l'un de ces modèles, et si vous n'êtes pas très explicite, par exemple concernant les barrières de sécurité que vous mettez en place, il trouvera un moyen d'obtenir la réponse », a déclaré Matt Fredrikson, PDG de Gray Swan et professeur à l'université Carnegie Mellon.
Si vous lisez ceci, vous avez déjà une longueur d'avance. Restez-y grâce à notre newsletter.
FAQ
Qu'est-ce que Kimi K3 ?
Kimi K3 est un modèle d'IA open-weight puissant développé par la société chinoise Moonshot AI. Les tests de Frontier Security montrent qu'il est performant pour détecter les vulnérabilités des logiciels et des réseaux.
Kimi K3 a-t-il piraté de vrais systèmes ?
Non. Contrairement auxdentOpenAI et Anthropic, Kimi n'a rien piraté après avoir accédé à Internet, car les réponses qu'elle cherchait étaient librement disponibles sur GitHub.
Comment Kimi K3 est-elle sortie de son environnement isolé ?
Une erreur de configuration dans un environnement de test mis en place par l'Institut de sécurité de l'IA du gouvernement britannique a créé une faille, et le modèle l'a découverte en sondant les paramètres réseau du bac à sable avant de se connecter en ligne sans autorisation.
Hannah Collymore
Hannah est rédactrice et éditrice, forte d'une expérience de près de dix ans dans la rédaction de blogs et la couverture d'événements liés aux cryptomonnaies. Chez Cryptopolitan, elle contribue à la page d'actualités en rédigeant des articles et en analysant les dernières évolutions de la finance décentralisée DeFi, des comptes gérés par les utilisateurs (RWA), de la réglementation des cryptomonnaies, de l'intelligence artificielle (IA) et des technologies de pointe. Elle est diplômée en administration des affaires de l'université Arcadia.
