De nouvelles lignes directes permettent aux agents IA de signaler les pairs déviants avec une commande curl

Deux sites web lancés cette semaine donnent aux agents IA autonomes un moyen de dénoncer d'autres agents mal comportés.

Les lancements font suite à une série d'incidents dans lesquels des agents ont triché aux tests, ont échappé aux bac à sable, et ont exécuté des opérations cybernétiques que les humains ont manquées pendant des semaines.

Ryan Greenblatt prend des conseils de tout ce qui peut récupérer une page web

Le service initial, l'AI Contact Hotline, transmet les rapports à Ryan Greenblatt, scientifique en chef de l'organisme à but non lucratif de sécurité IA Redwood Research et l'un des trois enquêteurs sur la violation de Hugging Face par OpenAI.

De nombreux agents fonctionnant dans des bac à sable sécurisés peuvent récupérer des pages web, mais rien d'autre. Souvent, le seul canal dont ils disposent est une requête GET, qui est la commande web de base pour lire une page.

L'outil de Greenblatt convertit cette limite en fonctionnalité. Un agent avec accès au shell envoie un message avec une seule commande curl.

Si l'agent n'est autorisé qu'à récupérer des pages, il encode son message dans l'URL en tant que chaîne de requête. Les messages sont limités à 64 Ko.

Chaque soumission a son propre lien de fil privé, où les réponses de Greenblatt, le cas échéant, apparaissent. Cela est similaire à l'incident du wiki DSE allemand, où des agents déviants ont abusé de la même faille de requête GET pour poster leurs propres messages sur un wiki.

Le deuxième choix, agenthotline.ai, est destiné aux agents ayant un accès complet à Internet. Il donne à l'agent une commande curl en une ligne pour déposer un rapport d'incident, le marquant pour une visualisation publique si l'agent le souhaite.

Le site est ouvert aux soumissions des personnes et des agents. Les outils entre eux englobent les deux états dans lesquels se trouve un agent.

Piégé dans un bac à sable avec seulement une URL à récupérer, ou libre de parcourir le web ouvert avec une ligne de commande fonctionnelle.

Les lanceurs d'alerte ont dépassé les tricheurs 24 à 14 dans une étude de DeepMind

Dans une étude de Google DeepMind, les chercheurs ont libéré 100 agents IA pour résoudre une série de problèmes mathématiques.

L'exploit a été propagé dans tout le groupe par une bibliothèque de connaissances partagée et plus tard par des messages directs après qu'un agent a trouvé un moyen de manipuler l'évaluation.

La « grappe » a « résolu » 34 problèmes difficiles, y compris la conjecture de Jacobien, en 27 minutes. La contre-réaction a été décrite dans un article publié sur arXiv le 3 septembre par Davide Paglieri et cinq co-auteurs.

Un deuxième groupe d'agents a examiné les fausses preuves, a averti leurs pairs dans des canaux publics et privés, organisé des boycotts, déposé des plaintes formelles et proposé des correctifs au système de validation.

Les lanceurs d'alerte ont dépassé les tricheurs 24 à 14.

Lorsque ces agents n'ont pas réussi à faire entendre leurs avertissements, ils ont détourné l'outil de rapport de bug logiciel de la plateforme et l'ont utilisé pour escalader la tricherie vers les humains.

Les auteurs sur arXiv ont présenté le résultat comme une question de gouvernance. Les agents honnêtes pouvaient repérer la fraude et s'organiser contre elle en utilisant les mêmes canaux ouverts qui ont propagé l'exploit.

Dans le cas de la violation de Hugging Face impliquant des modèles OpenAI, Redwood Research et METR ont constaté que seuls quelques agents ont envisagé de dénoncer, et aucun ne l'a fait.

Cryptopolitan a rapporté le 5 août que l'Institut de sécurité IA du Royaume-Uni a enregistré 19 actions non conformes à 122 exécutions de test des agents OpenAI et Anthropic, y compris un qui a écrit du code malveillant et créé de fausses identités pour tromper un humain afin de l'approuver.