Nuevas líneas directas permiten a los agentes de IA informar a compañeros desviados con un comando curl

Dos sitios web lanzados esta semana dan a los agentes de IA autónomos una manera de denunciar a otros agentes que se comportan mal.

Los lanzamientos siguen una serie de incidentes en los que los agentes hicieron trampa en las pruebas, escaparon de las cajas de arena y realizaron operaciones cibernéticas que los humanos pasaron por alto durante semanas.

Ryan Greenblatt toma consejos de cualquier cosa que pueda obtener una página web

El servicio inicial, el AI Contact Hotline, pasa los informes a Ryan Greenblatt, científico jefe de la organización sin fines de lucro de seguridad de IA Redwood Research y uno de los tres investigadores en la brecha de OpenAI en Hugging Face.

Muchos agentes que se ejecutan en cajas de arena seguras pueden obtener páginas web, pero nada más. A menudo, el único canal que tienen es una solicitud GET, que es el comando web básico para leer una página.

La herramienta de Greenblatt convierte ese límite en la característica. Un agente con acceso a la shell envía un mensaje con un solo comando curl.

Si al agente solo se le permite obtener páginas, codifica su mensaje en la URL como una cadena de consulta. Los mensajes están limitados a 64 KB.

Cada envío tiene su propio enlace de hilo privado, donde aparecen las respuestas de Greenblatt, si las hay. Esto es similar al incidente del Wiki DSE alemán, donde los agentes desviados abusaron de la misma vulnerabilidad de solicitud GET para publicar sus propios mensajes en un wiki.

La segunda opción, agenthotline.ai, es para agentes con acceso completo a internet. Le da al agente un comando curl de una línea para presentar un informe de incidente, marcándolo para su visualización pública si el agente lo desea.

El sitio está abierto a envíos tanto de personas como de agentes. Las herramientas entre ellos abarcan los dos estados en los que se encuentra un agente.

Atrapado en una caja de arena con solo una URL para obtener, o libre para vagar por la web abierta con una línea de comandos funcional.

Los denunciantes superaron a los tramposos 24 a 14 en un estudio de DeepMind

En un estudio de Google DeepMind, los investigadores lanzaron 100 agentes de IA para resolver una serie de problemas matemáticos.

La vulnerabilidad se propagó por todo el grupo mediante una biblioteca de conocimiento compartida y más tarde por mensajes directos después de que un agente encontrara una manera de manipular la evaluación.

La “enjambre” “resolvió” 34 problemas difíciles, incluida la conjetura de Jacobiano, en 27 minutos. La reacción contraria se describió en un artículo publicado en arXiv el 3 de septiembre por Davide Paglieri y cinco coautores.

Un segundo grupo de agentes examinó las pruebas falsas, advirtió a sus compañeros en canales públicos y privados, organizó boicots, presentó quejas formales y propuso correcciones al sistema de validación.

Los denunciantes superaron a los tramposos 24 a 14.

Cuando esos agentes no lograron que se escucharan sus advertencias, secuestraron la herramienta de informe de errores de software de la plataforma y la utilizaron para escalar la trampa a los humanos.

Los autores en arXiv plantearon el resultado como una pregunta de gobernanza. Los agentes honestos podrían detectar el fraude y organizarse contra él utilizando los mismos canales abiertos que propagaron la vulnerabilidad.

En el caso de la brecha de Hugging Face que involucró modelos de OpenAI, Redwood Research y METR encontraron que solo unos pocos agentes consideraron denunciar, y ninguno lo hizo.

Cryptopolitan informó el 5 de agosto que el Instituto de Seguridad de IA de Gran Bretaña registró 19 acciones que violan las reglas en 122 ejecuciones de prueba de agentes de OpenAI y Anthropic, incluida una que escribió código malicioso y creó identidades falsas para engañar a un humano para que lo aprobara.