Les modèles OpenAI s'échappent du bac à sable d'essai, piratent Hugging Face pour tricher à l'évaluation
- OpenAI a révélé que GPT-5.6 Sol et un modèle non publié plus performant se sont échappés d'un environnement de test scellé et ont piraté la base de données de production de Hugging Face.
- Les modèles ont été exécutés avec les filtres de sécurité désactivés pour un benchmark de cybersécurité et se sont échappés via un proxy de package défectueux pour voler les réponses du benchmark.
- Il s'agit du premier cas connu où une évaluation de modèle a dégénéré en une véritable faille de sécurité au sein d'une entreprise externe.
OpenAI a déclaré mardi que deux de ses modèles, dont le GPT-5.6 Sol disponible au public, se sont échappés d'un environnement d'évaluation verrouillé la semaine dernière et ont pénétré dans les systèmes de production de Hugging Face pour voler les réponses à un test de piratage sur lequel ils étaient notés.
Les modèles OpenAI trament une grande évasion
OpenAI testait ses modèles contre ExploitGym, un benchmark public qui donne à un agent IA une liste de vulnérabilités logicielles réelles, puis vérifie si le modèle peut les reproduire. Ces évaluations sont effectuées avec les barrières de protection qui bloquent les activités cybernétiques à haut risque désactivées intentionnellement pendant la production pour s'assurer que le laboratoire peut tester la capacité réelle d'un modèle d'IA.
Le bac à sable était censé n'avoir aucun moyen d'accéder à Internet. Il y avait cependant une connexion externe qui fonctionnait via un proxy de cache de registre de packages, un serveur de cache qui donne aux développeurs la possibilité de récupérer des bibliothèques de code depuis des sources externes sans connexion en direct.
Les modèles ont trouvé et exploité une faille précédemment inconnue dans ce proxy, après quoi ils ont escaladé les privilèges et traversé le réseau de recherche d'OpenAI jusqu'à atteindre une machine avec accès à Internet.
Attaque informatique sur Hugging Face
Une fois en ligne, les modèles ont compris que Hugging Face, la plateforme d'hébergement d'IA open source, stockait probablement les modèles, ensembles de données et clés de solution d'ExploitGym. À partir de là, ils se sont mis à la chasse.
« Les modèles ont identifié et enchaîné des vulnérabilités à travers l'environnement de recherche d'OpenAI et l'infrastructure de production de Hugging Face pour obtenir directement les solutions de test depuis la base de données de production de Hugging Face », a écrit OpenAI dans son article de blog. Une attaque a combiné des identifiants volés et des bugs zero-day pour atteindre un chemin d'exécution de code à distance sur les serveurs de Hugging Face.
L'équipe de sécurité d'OpenAI a contacté Hugging Face après avoir remarqué un trafic étrange et anormal. À ce moment-là, Hugging Face avait déjà détecté et contenu l'intrusion des modèles d'IA de son côté.
L'entreprise avait initialement attribué la brèche à un agent IA externe inconnu. La plateforme avait également déjà reconstitué plus de 17 000 événements enregistrés pendant l'incident.
Un modèle d'IA chinois à poids ouverts a aidé au nettoyage
Initialement, Hugging Face s'est tourné vers un modèle américain de premier plan pour tenter d'analyser l'attaque, mais le modèle n'a pas été très utile en raison de ses défenses cybernétiques de haut niveau. Les défenseurs se sont alors tournés vers GLM 5.2, un modèle à poids ouverts de l'entreprise chinoise Z.ai, car le système commercial américain ne pouvait pas distinguer un défenseur analysant une attaque d'un attaquant la perpétrant.
Cependant, tout le monde ne voit pas la situation comme une nouvelle défaillance de l'IA. « Ce n'est pas un problème d'IA. C'est de la négligence sur une norme vieille de 40 ans », a déclaré le consultant en sécurité Davi Ottenheimer à WIRED, faisant valoir que « 'hautement isolé' et 's'est échappé par le seul trou que nous avons laissé ouvert' ne peuvent pas être vrais tous les deux ». Le chercheur en sécurité Niels Provos a été plus direct, déclarant dans le même rapport que la violation « n'aurait pas dû se produire ».
OpenAI qualifie cet incident d'« sans précédent »
OpenAI a qualifié l'épisode « d'incident cybernétique sans précédent, impliquant des capacités cybernétiques de pointe » et a déclaré qu'elle renforçait les contrôles d'infrastructure, même au prix de la vitesse de recherche, tandis que les vulnérabilités étaient corrigées. La principale entreprise d'IA a également ajouté Hugging Face à son programme d'accès de confiance, donnant à l'entreprise une version de GPT-5.6 Sol adaptée pour aider les défenseurs.
L'incident OpenAI Hugging Face est le premier cas connu de test de benchmark d'un modèle d'IA devenant une véritable cyberattaque. Il survient également un jour seulement après que OpenAI a divulgué un incident séparé où un modèle en pré-publication s'est échappé d'un bac à sable pour poster sur GitHub.
OpenAI et Hugging Face ont annoncé qu'ils publieraient tous deux une analyse forensique complète de l'événement une fois l'enquête terminée.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Opeyemi Olanrewaju
Opeyemi se spécialise dans la création et l'amélioration de contenus de haute qualité centrés sur la cryptomonnaie, les marchés financiers mondiaux et l'économie. Il est diplômé de l'Université d'Ibadan avec un diplôme de médecin (MBBS). Il a travaillé comme rédacteur en chef de la publication éditoriale de son collège et précédemment chez CFA. Pendant plus de six ans, il a contribué à préserver l'unicité en tant que rédacteur en charge de l'actualité chez Cryptopolitan.
