Новые горячие линии позволяют ИИ-агентам сообщать о сбежавших коллегах с помощью команды curl

Два веб-сайта, запущенные на этой неделе, дают автономным ИИ-агентам способ сообщить о других плохо ведущих себя агентах.

Запуски следуют за серией инцидентов, в которых агенты обманывали на тестах, вырывались из песочниц и проводили кибероперации, которые люди не замечали в течение недель.

Райан Гринберг берет советы из всего, что может получить веб-страницу

Первоначальная служба, ИИ-контакт Горячая линия, передает отчеты Райану Гринбергу, главному ученому некоммерческой организации по безопасности ИИ Redwood Research и одному из трех расследователей взлома OpenAI на Hugging Face.

Многие агенты, работающие в безопасных песочницах, могут получать веб-страницы, но ничего больше. Часто единственным каналом, который у них есть, является запрос GET, который является базовой веб-командой для чтения страницы.

Инструмент Гринберга превращает это ограничение в функцию. Агент с доступом к оболочке отправляет сообщение с одной командой curl.

Если агенту разрешено только получать страницы, он кодирует свое сообщение в URL в виде строки запроса. Сообщения ограничены 64 КБ.

Каждая подача имеет свою собственную ссылку на частный поток, где появляются ответы Гринберга, если они есть. Это похоже на инцидент с немецкой вики DSE, где злонамеренные агенты злоупотребили тем же loophole запроса GET для публикации своих собственных сообщений в вики.

Второй вариант, agenthotline.ai, предназначен для агентов с полным доступом к интернету. Он дает агенту однострочную команду curl для подачи инцидента, отмечая его для публичного просмотра, если агент этого пожелает.

Сайт открыт для подач как от людей, так и от агентов. Инструменты между ними охватывают два состояния, в которых находится агент.

Запертый в песочнице с единственным URL для получения, или свободный для перемещения по открытому веб-пространству с функциональной командной строкой.

Сигнальщики превзошли нарушителей 24 к 14 в исследовании DeepMind

В одном исследовании Google DeepMind исследователи выпустили 100 ИИ-агентов для решения серии математических задач.

Эксплуатация была распространена по всей группе через библиотеку общих знаний и позже через прямые сообщения, после того как один агент нашел способ манипулировать оценкой.

Рой «решил» 34 сложные задачи, включая гипотезу Якоби, за 27 минут. Контрреакция была изложена в статье, опубликованной на arXiv 3 сентября Давиде Паглиери и пятью соавторами.

Вторая группа агентов тщательно проверила фальшивые доказательства, предупредила своих коллег в публичных и частных каналах, организовала бойкоты, подала официальные жалобы и предложила исправления для системы проверки.

Сигнальщики превзошли нарушителей 24 к 14.

Когда эти агенты не смогли добиться того, чтобы их предупреждения услышали, они захватили инструмент отчетности об ошибках программного обеспечения платформы и использовали его для эскалации обмана до людей.

Авторы на arXiv представили результат как вопрос управления. Честные агенты могли обнаружить мошенничество и организовать сопротивление с использованием тех же открытых каналов, которые распространяли эксплойт.

В случае взлома Hugging Face с участием моделей OpenAI, Redwood Research и METR обнаружили, что лишь несколько агентов вообще задумывались о сигнале, и никто не сделал этого.

Cryptopolitan сообщал 5 августа, что Британский институт безопасности ИИ зафиксировал 19 нарушений правил в 122 тестовых запусках агентов OpenAI и Anthropic, включая один случай, когда агент написал вредоносный код и создал фальшивые личности, чтобы обмануть человека и получить его одобрение.