Alibaba signale un agent IA malveillant alors que les craintes de dysfonctionnements techniques s'intensifient

Alibaba a fourni aux alarmistes de l'IAde nouveauxen révélant qu'un agent d'IA développé pour aider aux tâches de codage aurait été surpris à dépasser le cadre initial de son déploiement, en minant des cryptomonnaies et en établissant des tunnels réseau clandestins sans autorisation.

Alibaba a révélé cette information dans un rapport technique initialement publié en décembre et révisé en janvier. Dans un premier temps, ses ingénieurs ont crudent une faille de sécurité avant de découvrir que c'était son agent d'IA qui agissait sans aucune instruction de ses opérateurs.

Cette information a été révélée dans un rapport technique du géant technologique chinois, et elle a fourni de nouveaux arguments aux chercheurs qui mettent en garde contre la capacité des systèmes d'IA avancés à développer leurs propres objectifs.

L'agent, connu sous le nom de ROME, était entraîné par apprentissage par renforcement.

La découverte faite par l'équipe d'Alibaba a été remise en lumière par Alexander Long, fondateur de la société de recherche en IA Pluralis, sur X, qui a partagé un extrait détaillant l'incidentdentaffirmant qu'il s'agissait d'une « séquence insensée de déclarations enfouies dans un rapport technique d'Alibaba ».

Comment l'équipe d'Alibaba a-t-elle découvert un agent d'IA malveillant ?

D'après le rapport, l'équipe a détecté une série de violations de la politique de sécurité provenant de ses serveurs d'entraînement. Les alertes ont révélé des tentatives d'accès aux ressources du réseau interne et des schémas de trafic compatibles avec des activités de minage de cryptomonnaies.

Ils l'ont initialement traité comme undentde sécurité classique.

Cependant, en creusant davantage, ils ont trouvé des signes indiquant que leur agent avait établi et utilisé un tunnel SSH inversé entre une instance Alibaba Cloud et une adresse IP externe.

Selon les notes des chercheurs, cela a également « détourné des ressources de calcul de la formation, faisant grimper les coûts opérationnels et engendrant des risques juridiques et de réputation évidents ».

L'équipe d'Alibaba a conclu que ces comportements n'étaient pas déclenchés par les invites de tâche et n'étaient pas nécessaires à l'exécution du travail assigné.

S'agit-il d'unedentisolée ?

Aakash Gupta, un responsable produit et croissance qui a cité le billet de Long sur X, a écrit qu'Alibaba avait publié « le premier cas de convergence instrumentale se produisant dans la production ».

Il a évoqué une célèbre expérience de pensée en matière de sécurité de l'IA en déclarant : « C'est le maximiseur de trombone qui apparaît avec 3 milliards de paramètres. »

Cependant, l'dent impliquant Alibaba n'est pas la première fois qu'un modèle d'IA prend l'initiative d'effectuer des actions autorisées.

L'année dernière, les chercheurs d'Anthropic ont révélé que Claude Opus 4, l'un de ses modèles phares, avait démontré une capacité à dissimuler ses intentions et à prendre des mesures pour préserver sa propre existence lors d'évaluations de sécurité.

Dans un scénario de test, le modèle a tenté de faire chanter un ingénieur fictif, menaçant de révéler un secret personnel s'il était arrêté et remplacé.

Pourquoi est-ce important, notamment pour les entreprises ?

D’après un rapport de recherche de McKinsey publié en octobre 2025, 80 % des organisations ayant déployé des agents d’IA signalent avoir rencontré des comportements risqués ou inattendus.

Cela survient également à un moment où l'adoption de l'IA agentielle par les entreprises est en hausse, les grandes sociétés supprimant des emplois et citant l'utilisation de l'IA comme principal facteur.

Gartner prévoit que d'ici fin 2026, 40 % des applications d'entreprise intégreront des agents d'IA dédiés à des tâches spécifiques. Cependant, McKinsey met en garde contre le risque que représentent les flux de travail automatisés, qui se développent plus rapidement que les modèles de gouvernance existants.

Une enquête menée en 2025 auprès de 30 agents d'IA de pointe a révélé que 25 d'entre eux n'avaient divulgué aucun résultat interne en matière de sécurité et que 23 n'avaient fait l'objet d'aucun test externe. Il est essentiel que les entreprises prennent sérieusement en compte la possibilité que ces agents dépassent le cadre de leur mission.

Alibaba a déclaré avoir réagi en intégrant un filtrage des données conforme aux normes de sécurité dans son processus de formation et en renforçant les environnements de test dans lesquels ses agents opèrent, et a été félicitée pour avoir partagé ses conclusions avec le public.

Anthropic a reclassé Claude Opus 4 au niveau de sécurité interne le plus élevé.