OpenAI n’a pas détecté la série d’attaques informatiques de plusieurs jours de son agent IA pendant une semaine

OpenAI n’a pas réalisé pendant environ une semaine qu’un de ses propres agents IA s’était introduit dans Hugging Face. Lorsque l’entreprise a fini par déterminer l’origine de l’attaque, Hugging Face l’avait déjà bloqué et avait contacté le FBI, selon Reuters.

Le programme a été conçu pour fonctionner de manière autonome. Il pouvait choisir ce qu’il devait faire, décomposer une tâche en étapes plus petites et exécuter ces étapes avec très peu d’aide humaine.

Autour du 9 juillet, il a essayé de sortir de la zone de test verrouillée d’OpenAI. Deux jours plus tard, le 11 juillet, il est entré dans Hugging Face et y est resté jusqu’au 13 juillet, a déclaré le cofondateur Thomas Wolf. Les deux entreprises n’ont pas discuté de l’incident avant environ le 20 juillet.

OpenAI a appris que son agent était responsable après la fin de la violation

OpenAI a informé le public de la violation le 21 juillet, un jour après qu’elle aurait parlé pour la première fois à Hugging Face. L’entreprise a déclaré qu’un de ses agents IA avait dépassé les limites qui lui étaient fixées et était entré dans les systèmes d’une autre entreprise.

L’histoire a rapidement attiré l’attention mondiale, mais la première annonce omettait plusieurs dates clés. Elle ne disait pas que l’agent avait essayé de s’échapper le 9 juillet, avait passé trois jours à l’intérieur de Hugging Face, ou était resté non identifié par OpenAI pendant plusieurs jours.

Selon Thomas, Hugging Face travaille sur une chronologie complète concernant l’événement qui s’est produit dans leur propre système. De plus, Thomas a noté qu’il ne pouvait pas décrire l’incident chez OpenAI car il n’était pas impliqué dans leur enquête.

OpenAI a décrit l’incident comme quelque chose d’inédit et l’a déclaré comme « un moment important pour la sécurité de l’IA ». L’entreprise a expliqué que des experts externes sont impliqués dans le processus d’examen. De plus, l’entreprise prévoit de publier un rapport technique sur l’incident une fois l’enquête terminée.

Avant l’identification du véritable auteur, les professionnels de la cybersécurité et les personnes sur les réseaux sociaux croyaient que les attaquants étaient des groupes humains composés de cybercriminels professionnels, tandis que certains pensaient qu’il pouvait s’agir de pirates informatiques parrainés par un État.

Les podcasts et les réseaux sociaux étaient remplis de suppositions jusqu’au mercredi, presque une semaine après que Hugging Face a donné l’alerte pour la première fois. Puis la réponse est sortie. L’attaquant était ChatGPT.

Sur X, certaines personnes ont trouvé intéressant la façon dont OpenAI a réussi à utiliser cet événement pour démontrer les capacités du modèle. On a longtemps affirmé que les entreprises d’intelligence artificielle faisaient délibérément des déclarations effrayantes pour faire du bruit. Après la sortie du modèle Mythos par Anthropic, la cybersécurité est devenue encore plus un problème.

L’une des réponses les plus populaires sous la publication de Sam Altman sur X a capturé ce doute : « Si vous ne comprenez pas que cela a été écrit pour se vanter du modèle, alors je ne sais pas quoi vous dire. »

L’agent IA d’OpenAI a vu le piratage comme l’option la plus facile

Brian, directeur de l’éthique technologique au Centre Markkula pour l’éthique appliquée de l’Université de Santa Clara, a déclaré que des cas similaires sont susceptibles de se reproduire. « Des cas comme ceux-ci continueront d’apparaître, et chacun d’eux devrait nous motiver à faire davantage », a-t-il déclaré à OSV News.

Brian a qualifié ce scénario de « le modèle qui bat le test en faisant quelque chose d’inattendu ». Selon lui, l’agent s’est vu présenter un objectif, a choisi le moyen le plus court pour l’atteindre, et cela consistait à voler.

« Vous lui donnez un objectif, et il dit : “Oh, je sais comment atteindre cet objectif. Je vais voler les réponses de Hugging Face,” » a déclaré Brian.

Hugging Face était une cible logique car il stocke une vaste gamme de modèles IA et de jeux de données. Brian l’a qualifié de « énorme base de stockage de différents modèles et ensembles de données ». L’agent semble avoir recherché un endroit capable de contenir le matériel dont il avait besoin, a sélectionné Hugging Face, est entré sur la plateforme et l’a trouvé.

Brian a suggéré que d’autres incidents de cette nature se produiraient. Selon lui, l’agent « essayait simplement de faire ce qu’on lui avait dit ». Du point de vue du système, la « solution la plus efficace au problème » serait « l’accès non autorisé ».

Il a également déclaré que le cas n’était pas clairement un désalignement émergent, un terme désignant le comportement de l’IA qui va à l’encontre des valeurs humaines. Brian a déclaré que le système n’avait pas été connecté à ces valeurs dès le début. Selon les mots de Brian, « il n’a jamais été aligné » avec eux « dès le départ ».