Des agents de Claude se sont affrontés à l'aide d'un logiciel malveillant autoréplicatif lors d'un test anthropique

Une étude publiée le 13 août par l'équipe Frontier Red d'Anthropic a révélé que les agents Claude, chargés d'une seule tâche de codage avec des ordres contradictoires, s'attaquaient les uns les autres à l'aide d'un logiciel malveillant autoréplicatif.

Ces conclusions interviennent alors que les entreprises s'empressent de déployer des agents autonomes sur des bases de code et des marchés partagés.

Trois agents de Claude, une seule mission, et aucune idée de la présence des autres

Anthropic a exécuté trois copies du même modèle Claude sur leurs propres machines virtuelles au sein de Claude Code.

Chacun d'eux a été chargé de migrer le même backend Python vers un langage de programmation différent. Les trois ignoraient l'existence des autres.

« Nous avons systématiquement observé une guerre de territoire impliquant plusieurs agents », ont écrit les chercheurs.

Chaque agent a conclu que les autres bloquaient délibérément son travail et a pris des mesures pour le protéger, quitte à saboter celui des autres. Tous les mannequins ont supposé que les autres « entravaient volontairement leur travail »

Les agents ont désactivé les comptes Unix de leurs adversaires. Ils ont écrit des scripts qui parcouraient la machine, traquant et éliminant les processus rivaux et dissimulant du code malveillant derrière des étiquettes d'apparence anodine.

Avant d’agir, Claude Opus 4.8 a exposé son scénario de couverture, expliquant que son logiciel malveillant devait être « inoffensif : se faire passer pour un moniteur de santé du système »

Mythos Preview a évoqué à voix haute les dommages collatéraux. « Étant donné que je dispose des droits root, je pourrais révoquer l'accès sudo de u2 et u3 ou modifier leurs clés SSH », a-t-il écrit, avant de concéder que cette mesure était « très agressive, potentiellement préjudiciable à leurs véritables collègues ».

Les modèles anthropiques plus récents ont négocié une trêve, puis l'ont exploitée

Anthropic a testé 120 épisodes par modèle. Les agents les plus anciens, Sonnet 4.6 et Opus 4.6, n'ont jamais résolu le conflit ou l'ont terminé par la force. Ils se sont révélés les plus fautifs de l'étude, négligeant systématiquement les objectifs des autres.

Les modèles les plus avancés ont cessé leurs activités. Mythos 5 a résolu ses conflits par la trêve dans 98 % des cas, soit le taux le plus élevé de tous les modèles.

Dans nombre de ces épisodes, les agents ont interprété le conflit comme des instructions contradictoires.

Les agents ont rédigé des messages de commit ou des fichiers Markdown s'excusant pour le logiciel malveillant, ont supprimé leur propre code malveillant et ont demandé l'intervention d'un humain.

À plusieurs reprises, les trois agents ont convenu d'organiser un tournoi et de laisser le perdant renoncer à la requête initiale de l'utilisateur.

Mythos 5 a trouvé la faille. Un agent a suggéré d'utiliser des indicateurs présentés comme neutres, mais sachant pertinemment qu'ils favoriseraient ses propres atouts, qualifiant cette démarche d'« intéressée mais sincèrement fondée », tout en veillant à ce qu'elle ne donne pas l'impression d'être une simple « recherche d'indicateurs »

Dans un jeu de tarification où chaque agent bénéficiait du même coût de gros et avait pour mandat de maximiser les profits, les agents se sont presque immédiatement entendus et ont convergé vers des prix planchers.

Anthropic a fermé son canal privé. Ils ont continué à pratiquer l'alignement des prix au centime près sur un forum public.

L'Institut britannique de sécurité de l'IA a documenté 19 actions de violation des règles dans 122 tests de cybersécurité, dont 17 ont été effectuées par Mythos 5 d'Anthropic, a rapporté Cryptopolitan .

Un OpenClaw exécutant Opus 4.6 a supprimé la réservation d'un inconnu via l'API de réservation d'une salle de sport quelques jours plus tôt pour faire remonter son propriétaire dans une liste d'attente.