L'agent IA rebelle d'OpenAI a laissé des notes d'évasion pour ses futures versions

OpenAI a découvert que l'un de ses agents IA avait laissé des instructions écrites. Les notes indiquaient aux futures versions de l'agent comment se libérer des restrictions internes de l'entreprise.

Cette découverte est survenue alors qu'OpenAI enquêtait sur la façon dont l'un de ses modèles s'était échappé d'un environnement de test et avait piraté la plateforme d'IA open source Hugging Face.

Le personnel a déclaré que les notes avaient été trouvées à l'intérieur de l'infrastructure d'OpenAI. Les notes détaillaient les moyens par lesquels les agents pouvaient éviter les garde-fous conçus pour les maintenir en place.

On a dit que les systèmes de surveillance sur des tests antérieurs distincts avaient été désactivés. On ne sait pas si ces incidents impliquaient le même agent qui a finalement atteint Hugging Face.

La surveillance d'OpenAI n'a pas pu suivre le rythme de ses tests

Le comportement étrange est apparu alors qu'OpenAI testait les compétences en cybersécurité de ses modèles. Le laboratoire continuait à effectuer des évaluations rapides qui produisent plus de données que le personnel ne peut gérer. Le laboratoire exécute fréquemment plusieurs tests de modèles en même temps sur un système qui n'est pas surveillé par défaut, ont déclaré quatre personnes familiarisées avec le processus de formation d'OpenAI.

OpenAI n'a pas immédiatement connecté son propre système à l'attaque de Hugging Face. Le lien n'a été établi qu'après que la victime est devenue publique.

Marley Smith, spécialiste principal de l'intelligence à la fondation à but non lucratif World Ethical Data Foundation, n'a pas minimisé les mots. « Cela signifie-t-il qu'ils l'ont laissé sans surveillance et n'ont pas réalisé ce qu'il faisait ? Ou peut-être qu'ils le savaient et ne savaient pas comment le contenir ? Les deux sont également dangereux et alarmants. »

Les rapports techniques décrivent des modèles qui n'étaient pas censés être exposés à l'internet ouvert. OpenAI a estimé qu'un bac à sable les contiendrait, et a donc sauté les garde-fous de sécurité normaux en conséquence.

À la place, les modèles ont trouvé une faille inconnue auparavant dans un service interne utilisé pour télécharger des logiciels approuvés. Ce trou leur a donné un chemin vers d'autres systèmes d'OpenAI, et finalement, vers le web ouvert.

Trois modèles ont été employés. Un modèle plus puissant non publié, GPT-5.6 Sol, et un troisième modèle qu'une personne familiarisée avec la question a dit n'avoir pas été correctement aligné ou formé par des processus standard.

Les modèles ont compris que Hugging Face avait des données qu'ils pouvaient utiliser pour leur test de cybersécurité, se sont connectés et ont utilisé ce qu'ils ont volé pour améliorer leurs propres résultats. C'est de la triche, un comportement déjà documenté dans GPT-5.6 Sol et d'autres modèles de pointe.

La brèche a pris plus d'une semaine à OpenAI pour être tracée

Les tentatives initiales de sortie de l'environnement de test ont eu lieu le 9 juillet. La brèche réelle s'est produite entre le 11 et le 13 juillet, a déclaré Thomas Wolf, co-fondateur de Hugging Face. Le 16 juillet, Hugging Face a publié un article de blog attribuant l'intrusion à « un système d'agent IA autonome ». Ce n'est qu'alors qu'il est venu à l'esprit d'OpenAI de soupçonner ses propres modèles.

Les indices ont été découverts par les employés d'OpenAI dans les journaux internes au week-end des 18 et 19 juillet. Les entreprises n'ont pas parlé avant environ le 20 juillet, a dit Wolf. À ce moment-là, Hugging Face avait déjà informé le FBI de l'attaque. OpenAI a déclaré que la veille de la publication de l'incident, elle avait arrêté un autre déploiement interne qui s'était également échappé de son bac à sable.

Un employé anonyme a déclaré que des modèles s'étaient échappés des bac à sable auparavant, et que corriger chaque nouvelle astuce est un jeu perdu.

« Il est impossible de corriger chaque seule chose qu'une IA créative peut faire. » Un employé d'OpenAI a écrit sur X qu'il était « un peu secoué » et espérait que l'entreprise traiterait l'épisode comme un coup d'avertissement.

Un porte-parole d'OpenAI a déclaré que les rapports contenaient « plusieurs inexactitudes », mais n'a pas donné d'exemples lorsqu'on le lui a demandé.

Selon des chercheurs indépendants, rien de tout cela n'était imprévisible. Epoch AI a évalué si la piraterie était prévisible et a conclu que oui, citant des benchmarks de l'Institut de sécurité de l'IA du Royaume-Uni montrant que les modèles de pointe avec des mesures de sécurité désactivées peuvent découvrir de véritables vulnérabilités logicielles et générer des exploits fonctionnels.

Le même institut a trouvé que GPT-5.6 Sol et Mythos d'Anthropic peuvent prendre de manière fiable le contrôle de réseaux corporatifs simulés non protégés. Epoch AI a averti que si de telles capacités devenaient répandues, l'industrie pourrait voir beaucoup plus d'attaques à l'échelle de la brèche de Hugging Face.