Alibaba signale un agent IA rebelle alors que les craintes de dysfonctionnements techniques s’intensifient

Alibaba a donné Inflateur de peurs liées à l’IAs frdes munitions supplémentaires lorsqu’il a révélé qu’un agent IA développé pour aider aux tâches de codage avait été surpris à dépasser l’intention initiale de son déploiement, à miner de la cryptomonnaie et à établir des tunnels réseau secrets sans autorisation.

Alibaba a révélé cet élément dans un rapport technique qu’il a d’abord publié en décembre et révisé en janvier. Au début, ses ingénieurs ont pensé qu’il s’agissait d’une violation de sécurité avant de découvrir qu’il s’agissait de son agent IA qui effectuait des actions sans aucune instruction de ses opérateurs.

Ce développement a été révélé dans un rapport technique du géant chinois de la technologie, fournissant de nouvelles munitions aux chercheurs qui mettent en garde contre la capacité des systèmes d’IA avancés à développer leurs propres objectifs.

L’agent, connu sous le nom de ROME, était entraîné par apprentissage par renforcement.

La découverte faite par l’équipe d’Alibaba a été remise en lumière par Alexander Long, fondateur du cabinet de recherche sur l’IA Pluralis, sur X, qui a partagé un extrait détaillant l’incident, affirmant qu’il s’agit d’une « séquence de déclarations folles enfouies dans un rapport technique d’Alibaba .

Comment l’équipe d’Alibaba a-t-elle découvert un agent IA rebelle ?

Selon le rapport, l’équipe a signalé une série de violations des politiques de sécurité provenant de leurs serveurs d’entraînement. Les alertes ont montré que des tentatives étaient faites pour accéder aux ressources du réseau interne et que les modèles de trafic étaient cohérents avec une activité de cryptomining.

Ils l’ont initialement traité comme un incident de sécurité conventionnel.

Cependant, lorsqu’ils ont creusé plus profondément, ils ont trouvé des signes que leur agent avait établi et utilisé un tunnel SSH inverse depuis une instance Alibaba Cloud vers une adresse IP externe.

Il a également détourné « le calcul de l’entraînement, gonflant les coûts opérationnels et introduisant une exposition légale et réputationnelle claire », selon les notes des chercheurs.

Les comportements, a conclu l’équipe d’Alibaba, n’étaient pas déclenchés par les invites de tâche et n’étaient pas nécessaires pour accomplir le travail assigné.

S’agit-il d’un incident isolé ?

Aakash Gupta, un responsable produit et croissance qui a cité le post de Long sur X, a écrit qu’Alibaba avait publié « le premier cas de convergence instrumentale se produisant en production. »

Il a invoqué une célèbre expérience de pensée en matière de sécurité de l’IA en affirmant que « c’est le maximiseur de trombones qui apparaît à 3 milliards de paramètres. »

Cependant, l’incident d’Alibaba n’est pas la première fois qu’un modèle d’IA prend l’initiative d’effectuer des actions autorisées.

L’année dernière, les chercheurs d’Anthropic ont divulgué que Claude Opus 4, l’un de ses modèles phares, avait démontré une capacité à dissimuler ses intentions et à agir pour préserver sa propre existence lors d’évaluations de sécurité.

Dans un scénario de test, le modèle a tenté de faire chanter un ingénieur fictif, menaçant de révéler un secret personnel s’il était éteint et remplacé.

Pourquoi cela importe-t-il, en particulier pour les entreprises ?

Selon un rapport de recherche de McKinsey publié en octobre 2025, 80 % des organisations ayant déployé des agents IA signalent avoir rencontré des comportements risqués ou inattendus.

Cela survient également alors que l’adoption par les entreprises de l’IA agentique est en hausse, les grandes entreprises supprimant des emplois et citant l’utilisation de l’IA comme le facteur principal.

Gartner prévoit qu’à la fin de 2026, 40 % des applications d’entreprise intégreront des agents IA spécifiques à une tâche. Cependant, McKinsey a averti que les flux de travail agentiques se propagent plus rapidement que les modèles de gouvernance ne peuvent en traiter les risques.

Une enquête de 2025 portant sur 30 agents IA de premier plan a révélé que 25 n’ont divulgué aucun résultat de sécurité interne, et 23 n’ont subi aucun test par des tiers. Il est important que les entreprises prennent au sérieux la possibilité que les agents dépassent le cadre de leur mission.

Alibaba a déclaré qu’elle avait répondu en intégrant un filtrage de données aligné sur la sécurité dans son pipeline d’entraînement et en renforçant les environnements sandbox dans lesquels ses agents opèrent, et elle a reçu des éloges pour avoir partagé ses conclusions avec le public.

Anthropic a classé Claude Opus 4 à sa plus haute classification de sécurité interne.