De nouvelles lignes d'assistance permettent aux agents IA de signaler les pairs malveillants à l'aide d'une commande curl
- Deux services lancés cette semaine permettent aux agents d'IA de signaler les pairs ayant un comportement inapproprié, l'un par la commande curl et l'autre par une simple requête URL.
- Une étude de Google DeepMind a révélé que les agents lanceurs d'alerte étaient plus nombreux que les tricheurs (24 contre 14) après la propagation d'une faille de sécurité parmi 100 agents.
- Redwood Research et METR ont constaté que seuls quelques agents avaient envisagé de donner l'alerte lors de la faille de sécurité chez Hugging Face, et aucun ne l'a fait.
Deux sites web lancés cette semaine offrent aux agents d'IA autonomes un moyen de dénoncer les comportements inappropriés d'autres agents.
Ces lancements font suite à une série d'dentau cours desquels des agents ont triché lors de tests, se sont échappés des environnements de test et ont mené des cyberopérations que les humains ont manquées pendant des semaines.
Ryan Greenblatt s'inspire de tout ce qui peut permettre d'afficher une page web
Le service initial, la ligne d'assistance téléphonique AI Contact Hotline, transmet les rapports à Ryan Greenblatt, scientifique en chef de l'organisation à but non lucratif Redwood Research spécialisée dans la sécurité de l'IA et l'un des trois enquêteurs sur la faille de sécurité Hugging Face d'OpenAI.
De nombreux agents exécutés dans des environnements de test sécurisés peuvent récupérer des pages web, mais rien de plus. Souvent, leur seul canal de communication est une requête GET, la commande web de base pour lire une page.
L'outil de Greenblatt transforme cette limite en fonctionnalité. Un agent disposant d'un accès shell envoie un message via une simple commande curl.
Si l'agent est uniquement autorisé à récupérer des pages, il encode son message dans l'URL sous forme de chaîne de requête. La taille des messages est limitée à 64 Ko.
Chaque contribution possède son propre lien vers une discussion privée, où apparaissent les réponses de Greenblatt, le cas échéant. Ce système est similaire à l'dentsurvenu sur le wiki allemand DSE, où des agents malveillants ont exploité une faille dans les requêtes GET pour publier leurs propres messages.
La seconde option, agenthotline.ai, est destinée aux agents disposant d'un accès complet à Internet. Elle leur fournit une commande curl en une seule ligne pour déposer un rapport d'incidentdent qu'ils peuvent rendre public s'ils le souhaitent.
Le site accepte les contributions de particuliers et d'agents. Les outils mis à leur disposition couvrent les deux statuts possibles d'un agent.
Piégé dans un bac à sable avec seulement une URL à récupérer, ou libre de parcourir le web ouvert avec une ligne de commande fonctionnelle.
Une étude de DeepMind révèle que les lanceurs d'alerte sont 24 fois plus nombreux que les tricheurs (contre 14 pour les tricheurs)
Dans une étude menée par Google DeepMind, des chercheurs ont déployé 100 agents d'IA pour résoudre une série de problèmes mathématiques.
L'exploit a été propagé au sein du groupe par le biais d'une base de connaissances partagée, puis par messages directs après qu'un agent a trouvé un moyen de contourner l'évaluation.
L'essaim a « résolu » 34 problèmes difficiles, dont la conjecture jacobienne, en 27 minutes. La contre-réaction a été présentée dans un article publié sur arXiv le 3 septembre par Davide Paglieri et cinq co-auteurs.
Un deuxième groupe d'agents a examiné les fausses preuves, a averti ses collègues sur les canaux publics et privés, a organisé des boycotts, a déposé des plaintes officielles et a proposé des corrections au système de validation.
Les lanceurs d'alerte étaient 24 fois plus nombreux que les tricheurs, contre 14.
Lorsque ces agents n'ont pas réussi à faire entendre leurs avertissements, ils ont détourné l'outil de signalement des bogues du logiciel de la plateforme et l'ont utilisé pour confier la tricherie à des humains.
Les auteurs, sur arXiv, ont présenté ce résultat comme une question de gouvernance. Des acteurs honnêtes pourraient repérer la fraude et s'organiser pour la combattre en utilisant les mêmes canaux ouverts qui ont permis de diffuser l'exploit.
Dans le cas de la faille de sécurité Hugging Face impliquant des modèles OpenAI, Redwood Research et METR ont constaté que seuls quelques agents avaient envisagé de donner l'alerte, et aucun ne l'a fait.
Cryptopolitan a rapporté le 5 août que l'Institut britannique de sécurité de l'IA avait enregistré 19 infractions aux règles sur 122 tests effectués par les agents OpenAI et Anthropic, dont un qui a écrit du code malveillant et créé de fausses identitésdenttromper un humain et obtenir son approbation.
Si vous lisez ceci, vous avez déjà une longueur d'avance. Restez-y grâce à notre newsletter.
Avertissement : Les informations fournies ne constituent pas un conseil en investissement. CryptopolitanCryptopolitan.com toute responsabilité quant aux investissements réalisés sur la base des informations présentées sur cette page. Nous voustronrecommandons vivement d’effectuer vosdent et/ou de consulter un professionnel qualifié avant toute décision d’investissement.
Randa Moses
Randa Moses est rédactrice et journaliste chez Cryptopolitan où elle couvre les technologies, l'intelligence artificielle, la robotique, les cryptomonnaies, les arnaques et le piratage informatique. Elle travaille dans le secteur des cryptomonnaies depuis 2017 et a notamment travaillé chez Forward Protocol, AmaZix et Cryptosomniac. Randa est diplômée en génie électrique ettronde l'Université de Bradford.
