Новые горячие линии позволяют агентам ИИ сообщать о нарушителях с помощью команды curl

На этой неделе были запущены два веб-сайта, которые предоставляют автономным агентам искусственного интеллекта возможность сообщать о нарушениях со стороны других агентов.

Эти запуски последовали за сериейdent, в ходе которых агенты жульничали на тестах, выходили за пределы «песочниц» и проводили кибер-операции, которые люди не замечали неделями.

Райан Гринблатт черпает идеи из всего, что может помочь загрузить веб-страницу

Первоначальная служба, « Горячая линия», передает сообщения Райану Гринблатту, главному научному сотруднику некоммерческой организации Redwood Research, занимающейся вопросами безопасности ИИ, и одному из трех следователей, расследующих взлом OpenAI Hugging Face.

Многие агенты, работающие в защищенных песочницах, могут загружать веб-страницы, но ничего больше. Часто единственным доступным им каналом является GET-запрос, который является базовой веб-командой для чтения страницы.

Инструмент Гринблатта преобразует это ограничение в функцию. Агент с доступом к командной оболочке отправляет сообщение с помощью одной команды curl.

Если агенту разрешено только загружать страницы, он кодирует свое сообщение в URL-адресе в виде строки запроса. Размер сообщений ограничен 64 КБ.

Каждое сообщение имеет свою собственную приватную ссылку на ветку обсуждения, где отображаются ответы Гринблатта, если таковые имеются. Это похоже наdentс немецкой вики DSE, где злоумышленники использовали ту же лазейку в GET-запросах для публикации собственных сообщений в вики.

Второй вариант, agenthotline.ai, предназначен для агентов с полным доступом к интернету. Он предоставляет агенту команду curl в одну строку для отправкиdent , при желании делая его доступным для публичного просмотра.

Сайт принимает заявки как от частных лиц, так и от агентов. Совместно используемые инструменты охватывают оба состояния, в которых находится агент.

Заперты в песочнице, имея лишь URL-адрес для загрузки данных, или же можете свободно перемещаться по открытому интернету с помощью работающей командной строки.

В исследовании DeepMind число осведомителей превысило число мошенников в соотношении 24 к 14

В одном из исследований Google DeepMind ученые выпустили 100 агентов искусственного интеллекта для решения ряда математических задач.

Уязвимость распространилась по всей группе через общую библиотеку знаний, а позже — через личные сообщения после того, как один из агентов нашел способ обмануть систему оценки.

Рой «решил» 34 сложные задачи, включая гипотезу Якоби, за 27 минут. Реакция на это была описана в статье, опубликованной на arXiv 3 сентября Давиде Пальери и пятью соавторами.

Вторая группа агентов тщательно изучала поддельные доказательства, предупреждала своих коллег по публичным и частным каналам, организовывала бойкоты, подавала официальные жалобы и предлагала исправления в системе проверки.

Число осведомителей превысило число нарушителей в соотношении 24 к 14.

Когда этим агентам не удалось донести свои предупреждения, они захватили инструмент для сообщения об ошибках в программном обеспечении платформы и использовали его для передачи информации о мошенничестве людям.

Авторы на arXiv представили результат как вопрос управления. Честные агенты могли бы выявить мошенничество и организовать борьбу с ним, используя те же открытые каналы, которые распространяют уязвимость.

В случае взлома системы Hugging Face, связанного с моделями OpenAI, компании Redwood Research и METR обнаружили, что лишь немногие агенты когда-либо задумывались о том, чтобы сообщить о нарушениях, и никто этого не сделал.

Cryptopolitan сообщило, что британский Институт безопасности ИИ зафиксировал 19 нарушений правил в ходе 122 тестовых запусков агентов OpenAI и Anthropic, включая одно, в котором был написан вредоносный код и созданы поддельныеdent, чтобы обманом заставить человека одобрить его.