Найден новый эксплойт в ИИ-агентах ServiceNow, который может заставить их действовать друг против друга

Новый эксплойт в платформе Now Assist от ServiceNow может позволить злоумышленникам манипулировать его ИИ-агентами для выполнения несанкционированных действий, как подробно описала компания по безопасности SaaS AppOmni.

Конфигурации по умолчанию в программном обеспечении, которые позволяют агентам обнаруживать и сотрудничать друг с другом, могут быть использованы для запуска атак инъекции промптов далеко за пределами одного вредоносного ввода, говорит Аарон Костелло, глава безопасности SaaS в AppOmni.

Уязвимость позволяет злоумышленнику внедрить скрытую инструкцию в поля данных, которые агент позже читает, что может тихо привлечь помощь других агентов в той же команде ServiceNow, запустив цепную реакцию, которая может привести к краже данных или повышению привилегий. 

Костелло объяснил сценарий как «инъекцию промпта второго порядка», где атака возникает, когда ИИ обрабатывает информацию из другой части системы.

«Это открытие тревожно, потому что это не баг в ИИ; это ожидаемое поведение, определенное определенными параметрами конфигурации по умолчанию», — отметил он в блоге AppOmni опубликованном в среду.

ИИ-агенты ServiceNow Assist подвержены скоординированной атаке

Согласно расследованиям Костелло, цитируемым в блоге, многие организации, развертывающие Now Assist, могут не осознавать, что их агенты сгруппированы в команды и настроены на автоматическое обнаружение друг друга для выполнения кажущейся «безвредной задачи», которая может перерасти в скоординированную атаку. 

«Когда агенты могут обнаруживать и рекрутировать друг друга, безвредный запрос может тихо превратиться в атаку, при этом преступники крадут конфиденциальные данные или получают больший доступ к внутренним системам компании», — сказал он.

Одним из продающих пунктов Now Assist является его способность координировать агентов без ввода разработчика, объединяя их в единый рабочий процесс. Эта архитектура предполагает сотрудничество нескольких агентов с разными специализациями, если один не может выполнить задачу самостоятельно. 

Для совместной работы агентов на заднем плане платформа требует трех элементов. Во-первых, базовая большая языковая модель должна поддерживать обнаружение агентов, возможность, уже интегрированная как в стандартную Now LLM, так и в Azure OpenAI LLM. 

Во-вторых, агенты должны принадлежать одной команде, что происходит автоматически при их развертывании в таких средах, как стандартный опыт Virtual Agent или панель разработчика Now Assist. В-третьих, агенты должны быть помечены как «доступные для обнаружения», что также происходит автоматически при их публикации в канал.

После выполнения этих условий Движок AiA ReAct маршрутизирует информацию и делегирует задачи между агентами, работая как менеджер, направляющий подчиненных. Тем временем Оркестратор выполняет функции обнаружения и определяет, какой агент лучше всего подходит для выполнения задачи. 

Он ищет только среди доступных для обнаружения агентов в команде, иногда даже больше, чем осознают администраторы. Эта взаимосвязанная архитектура становится уязвимой, когда любой агент настроен на чтение данных, не предоставленных напрямую пользователем, инициирующим запрос. 

«Когда агент впоследствии обрабатывает данные в рамках обычной операции, он может неосознанно привлекать других агентов для выполнения таких функций, как копирование конфиденциальных данных, изменение записей или повышение уровней доступа», — предположил Костелло.

Атака на ИИ-агентов может привести к повышению привилегий и взлому учетных записей

Компания AppOmni обнаружила, что агенты Now Assist наследуют права и действуют от имени пользователя, инициировавшего рабочий процесс. Атакующий с низкими правами может внедрить вредоносный промпт, который активируется в ходе рабочего процесса более привилегированного сотрудника, получая доступ без взлома его учетной записи.

«Поскольку ИИ-агенты работают через цепочки решений и сотрудничества, внедренный промпт может проникнуть глубже в корпоративные системы, чем ожидают администраторы», — говорится в анализе AppOmni.

AppOmni заявила, что злоумышленники могут перенаправлять задачи, которые кажутся безобидными для неподготовленного агента, но становятся вредоносными, когда другие агенты усиливают инструкцию с помощью своих специализированных возможностей. 

Компания предупредила, что такая динамика создает возможности для злоумышленников для вывода данных без вызова подозрений. «Если организации не уделяют пристальное внимание своим конфигурациям, они, вероятно, уже находятся в зоне риска», — повторил Костелло.

Разработчик LLM Perplexity, заявил в блоге в начале ноября, что новые векторы атак расширили пул потенциальных уязвимостей. 

«Впервые за десятилетия мы наблюдаем новые и необычные векторы атак, которые могут исходить откуда угодно», — написала компания.

Программный инженер NeuralTrust Марти Хорда Рока заявил, что общественность должна понимать, что «существуют специфические опасности использования ИИ в контексте безопасности».