Новая уязвимость, обнаруженная в агентах искусственного интеллекта ServiceNow, позволяет обманным путем заставить их действовать друг против друга

Новая уязвимость в платформе Now Assist от ServiceNow может позволить злоумышленникам манипулировать ее агентами ИИ для выполнения несанкционированных действий, о чем сообщает компания AppOmni, занимающаяся безопасностью SaaS.

По словам Аарона Костелло, руководителя отдела безопасности SaaS-услуг в AppOmni, стандартные конфигурации программного обеспечения, позволяющие агентам обнаруживать друг друга и взаимодействовать друг с другом, могут быть использованы для запуска атак с мгновенным внедрением вредоносных программ, выходящих далеко за рамки единичного вредоносного ввода.

Уязвимость позволяет злоумышленнику внедрить скрытую инструкцию в поля данных, которые позже считывает агент, что может незаметно привлечь на помощь других агентов из той же команды ServiceNow, запустив цепную реакцию, которая может привести к краже данных или повышению привилегий. 

Костелло описал этот сценарий как «внедрение уязвимостей второго порядка», при котором атака возникает, когда ИИ обрабатывает информацию из другой части системы.

«Это открытие вызывает тревогу, потому что это не ошибка в ИИ; это ожидаемое поведение, defiопределенными параметрами конфигурации по умолчанию», — отметил он в блоге AppOmni, опубликованном в среду.

Агенты искусственного интеллекта ServiceNow Assist подвергаются скоординированной атаке

Согласно расследованиям Костелло, цитируемым в блоге, многие организации, использующие Now Assist, могут не знать, что их агенты объединены в команды и настроены наmaticобнаружение друг друга для выполнения, казалось бы, «безобидной задачи», которая может перерасти в скоординированную атаку. 

«Когда агенты могут обнаруживать и вербовать друг друга, безобидный запрос может незаметно превратиться в атаку, в ходе которой преступники похищают конфиденциальные данные или получают больший доступ к внутренним системам компании», — сказал он.

Одно из преимуществ Now Assist — возможность координировать работу агентов без участия разработчика, объединяя их в единый рабочий процесс. Такая архитектура позволяет нескольким агентам с разными специализациями сотрудничать, если один из них не может выполнить задачу самостоятельно. 

Для совместной работы агентов в фоновом режиме платформе необходимы три элемента. Во-первых, базовая модель большого языка должна поддерживать обнаружение агентов — эта возможность уже интегрирована как в стандартную версию Now LLM, так и в Azure OpenAI LLM. 

Во-вторых, агенты должны принадлежать к одной команде, что происходитmaticпри их развертывании в таких средах, как виртуальный агент по умолчанию или панель Now Assist Developer. Наконец, агенты должны быть помечены как «обнаруживаемые», что также происходитmaticпри их публикации в канале.

После выполнения этих условий движок AiA ReAct Engine направляет информацию и распределяет задачи между агентами, действуя подобно менеджеру, направляющему подчиненных. В то же время, Orchestrator выполняет функции обнаружения иdent, какой агент лучше всего подходит для выполнения задачи. 

Поиск выполняется только среди доступных для обнаружения агентов внутри команды, иногда даже чаще, чем предполагают администраторы. Эта взаимосвязанная архитектура становится уязвимой, если какой-либо агент настроен на чтение данных, не отправленных напрямую пользователем, инициировавшим запрос. 

«Когда агент позже обрабатывает данные в рамках обычной операции, он может неосознанно нанимать других агентов для выполнения таких функций, как копирование конфиденциальных данных, изменение записей или повышение уровней доступа», — предположил Костелло.

Атака с использованием ИИ-агента может повысить привилегии и взломать учетные записи

AppOmni обнаружил, что агенты Now Assist наследуют разрешения и действуют от имени пользователя, инициировавшего рабочий процесс. Злоумышленник низкого уровня может внедрить вредоносную подсказку, которая активируется во время рабочего процесса более привилегированного сотрудника, получая доступ, не взламывая его учётную запись.

«Поскольку агенты ИИ действуют посредством цепочек решений и совместной работы, внедренная подсказка может проникнуть в корпоративные системы глубже, чем ожидают администраторы», — говорится в анализе AppOmni.

AppOmni утверждает, что злоумышленники могут перенаправлять задачи, которые кажутся безобидными неподготовленному агенту, но становятся опасными, как только другие агенты усиливают инструкцию с помощью своих специализированных возможностей. 

Компания предупредила, что такая динамика создаёт возможности для злоумышленников похищать данные, не вызывая подозрений. «Если организации не проверяют свои конфигурации внимательно, они, вероятно, уже находятся под угрозой», — повторил Костелло.

Разработчик LLM Perplexityв начале ноября в своем блоге сообщил, что новые векторы атак расширили круг потенциальных эксплойтов. 

«Впервые за десятилетия мы видим новые и невиданные ранее векторы атак, которые могут исходить откуда угодно», — написала компания.

Инженер-программист Марти Хорда Рока из NeuralTrust заявил, что общественность должна понимать, что «с точки зрения безопасности использование ИИ сопряжено с определенными опасностями».