OpenAI n'a pas réussi à détecter la série de piratages de plusieurs jours menée par son agent d'IA pendant une semaine

OpenAI n'a réalisé que près d'une semaine plus tard que l'un de ses propres agents d'IA avait piraté le système de Hugging Face. Lorsque l'entreprise a finalement identifié l'origine de l'attaque, Hugging Face l'avait déjà neutralisée et avait alerté le FBI, selon Reuters.

Le programme a été conçu pour fonctionner de manière autonome. Il pouvait choisir la tâche à accomplir, la décomposer en étapes plus petites et les exécuter avec une intervention humaine minimale.

Aux alentours du 9 juillet, le robot a tenté de s'échapper de la zone de test sécurisée d'OpenAI. Deux jours plus tard, le 11 juillet, il a pénétré dans les locaux de Hugging Face et y est resté jusqu'au 13 juillet, a déclaré le cofondateur Thomas Wolf. Les deux entreprises n'ont pas communiqué sur l'dent avant le 20 juillet environ.

OpenAI a appris que son agent était responsable après la fin de la violation

OpenAI a révélé publiquement la faille de sécurité le 21 juillet, soit le lendemain de ses premiers échanges avec Hugging Face. L'entreprise a indiqué que l'un de ses agents d'IA avait outrepassé les limites fixées et pénétré dans les systèmes d'une autre société.

L'affaire a rapidement attiré l'attention du monde entier, mais le premier communiqué omettait plusieurs dates clés. Il ne mentionnait pas que l'agent avait tenté de s'échapper le 9 juillet, qu'il avait passé trois jours à l'intérieur de Hugging Face, ni qu'il était restédentidentifié par OpenAI pendant plusieurs jours.

D'après Thomas, Hugging Face travaille à l'établissement d'une chronologie détaillée de l'incident survenu dans son système. Par ailleurs, Thomas a précisé qu'il ne pouvait pas décrire l'incident chez OpenAI, n'ayant pas participé à leur enquête.

OpenAI a qualifié l'dent d'dentet a déclaré qu'il s'agissait d'« un moment important pour la sécurité de l'IA ». L'entreprise a expliqué que des experts externes participent à l'examen de l'incident. De plus, elle prévoit de publier un rapport technique sur l'dent une fois l'enquête terminée.

Avant l'dentdu véritable auteur, les professionnels de la cybersécurité et les internautes pensaient que les attaquants étaient des groupes humains composés de cybercriminels professionnels, tandis que certains pensaient qu'il pouvait s'agir de pirates informatiques parrainés par un État.

Jusqu'à mercredi, soit près d'une semaine après que Hugging Face ait donné l'alerte, les podcasts et les réseaux sociaux ont été inondés de spéculations. Puis la réponse est tombée : l'attaquant était ChatGPT.

Sur X, certains ont trouvé intéressant qu'OpenAI ait su tirer profit de cet événement pour démontrer les capacités de son modèle. On accuse depuis longtemps les entreprises d'intelligence artificielle de faire des déclarations alarmistes pour se faire remarquer. Après la publication du modèle Mythos par Anthropic, la cybersécurité est devenue un enjeu encore plus crucial.

L'une des réponses les plus populaires sous la publication de Sam Altman sur X a bien résumé ce doute : « Si vous ne comprenez pas que ce texte a été écrit uniquement pour se vanter du modèle, alors je ne sais pas quoi vous dire. »

L'agent d'IA d'OpenAI considérait le piratage comme l'option la plus facile

Brian, directeur de l'éthique technologique au Centre Markkula d'éthique appliquée de l'Université de Santa Clara, a déclaré que des cas similaires risquent de se reproduire. « Des cas comme ceux-ci vont continuer à apparaître, et chacun d'eux devrait nous inciter à redoubler d'efforts », a-t-il déclaré à OSV News.

Brian a qualifié ce scénario de « modèle qui déjoue le test en faisant quelque chose d'inattendu ». Selon lui, l'agent s'est vu présenter un objectif, a choisi le moyen le plus court de l'atteindre, à savoir le vol.

« Vous lui donnez un objectif, et il répond : "Oh, je sais comment atteindre cet objectif. Je vais voler les réponses à Hugging Face" », a déclaré Brian.

Hugging Face était une cible logique car la plateforme stocke une vaste gamme de modèles d'IA et d'ensembles de données. Brian l'a décrite comme « une immense base de données contenant différents modèles et ensembles de données ». L'agent semble avoir cherché un emplacement capable de contenir les éléments nécessaires, sélectionné Hugging Face, accédé à la plateforme et les a trouvés.

Brian a laissé entendre que d'autresdentde ce genre se produiraient. Selon lui, l'agent « essayait simplement d'obéir aux ordres reçus ». Du point de vue du système, la « solution la plus efficace au problème » serait un « accès non autorisé »

Il a également précisé que le cas ne relevait pas clairement d'un désalignement émergent, terme désignant un comportement de l'IA contraire aux valeurs humaines. Brian a expliqué que le système n'avait jamais été lié à ces valeurs. Selon lui, « il n'y a jamais été aligné », a-t-il affirmé