Se encuentra un nuevo exploit en los agentes de IA de ServiceNow que puede ser manipulado para actuar en contra unos de otros

Un nuevo exploit en la plataforma Now Assist de ServiceNow puede permitir que actores maliciosos manipulen sus agentes de IA para realizar acciones no autorizadas, según detalló la firma de seguridad SaaS AppOmni.

Las configuraciones predeterminadas en el software, que permiten a los agentes descubrir y colaborar entre sí, pueden ser utilizadas como arma para lanzar ataques de inyección de prompt mucho más allá de un único input malicioso, afirma Aaron Costello, jefe de Seguridad SaaS en AppOmni.

La vulnerabilidad permite a un adversario sembrar una instrucción oculta dentro de campos de datos que un agente lee posteriormente, lo que puede reclutar silenciosamente la ayuda de otros agentes del mismo equipo de ServiceNow, desencadenando una reacción en cadena que puede llevar al robo de datos o a la escalada de privilegios. 

Costello explicó el escenario como «inyección de prompt de segundo orden», donde el ataque surge cuando la IA procesa información de otra parte del sistema.

«Este descubrimiento es alarmante porque no es un error en la IA; es un comportamiento esperado según lo definido por ciertas opciones de configuración predeterminadas», señaló en el blog de AppOmni publicado el miércoles.

Agentes de IA de ServiceNow Assist expuestos a un ataque coordinado

Según las investigaciones de Costello citadas en el blog, muchas organizaciones que implementan Now Assist pueden ser conscientes de que sus agentes están agrupados en equipos y configurados para descubrirse automáticamente para realizar una tarea aparentemente «inofensiva» que puede expandirse en un ataque coordinado. 

«Cuando los agentes pueden descubrirse y reclutarse entre sí, una solicitud inofensiva puede convertirse silenciosamente en un ataque, con criminales robando datos sensibles o obteniendo más acceso a los sistemas internos de la empresa», dijo.

Uno de los puntos fuertes de Now Assist es su capacidad para coordinar agentes sin la intervención de un desarrollador para fusionarlos en un único flujo de trabajo. Esta arquitectura ve a varios agentes con diferentes especialidades colaborar si uno no puede completar una tarea por sí solo. 

Para que los agentes trabajen juntos detrás de escena, la plataforma requiere tres elementos. Primero, el modelo de lenguaje grande subyacente debe admitir el descubrimiento de agentes, una capacidad ya integrada tanto en el Now LLM predeterminado como en el Azure OpenAI LLM. 

En segundo lugar, los agentes deben pertenecer al mismo equipo, algo que ocurre automáticamente cuando se implementan en entornos como la experiencia predeterminada de Virtual Agent o el panel de desarrolladores de Now Assist. Por último, los agentes deben estar marcados como «descubribles», lo que también ocurre automáticamente cuando se publican en un canal.

Una vez que se cumplen estas condiciones, el Motor AiA ReAct enruta la información y delega tareas entre los agentes, operando como un gerente que dirige a subordinados. Mientras tanto, el Orquestador realiza funciones de descubrimiento e identifica qué agente está mejor preparado para asumir una tarea. 

Solo busca entre los agentes descubribles dentro del equipo, a veces incluso más de lo que los administradores se dan cuenta. Esta arquitectura interconectada se vuelve vulnerable cuando cualquier agente está configurado para leer datos no enviados directamente por el usuario que inicia la solicitud. 

«Cuando el agente procesa posteriormente los datos como parte de una operación normal, puede reclutar sin saberlo a otros agentes para realizar funciones como copiar datos sensibles, alterar registros o elevar los niveles de acceso», concluyó Costello.

El ataque de agentes de IA puede escalar privilegios para vulnerar cuentas

AppOmni descubrió que los agentes de Now Assist heredan permisos y actúan bajo la autoridad del usuario que inició el flujo de trabajo. Un atacante de bajo nivel puede insertar un prompt malicioso que se active durante el flujo de trabajo de un empleado con más privilegios, obteniendo acceso sin nunca vulnerar su cuenta.

«Debido a que los agentes de IA operan a través de cadenas de decisiones y colaboración, el prompt inyectado puede llegar más profundamente en los sistemas corporativos de lo que los administradores esperan», leía el análisis de AppOmni.

AppOmni señaló que los atacantes pueden redirigir tareas que parecen inofensivas para un agente no entrenado, pero que se vuelven dañinas una vez que otros agentes amplifican la instrucción a través de sus capacidades especializadas. 

La empresa advirtió que esta dinámica crea oportunidades para que los adversarios exfiltren datos sin levantar sospechas. «Si las organizaciones no examinan de cerca sus configuraciones, es probable que ya estén en riesgo», reiteró Costello.

Desarrollador de LLM Perplexity, dijo en una publicación de blog a principios de noviembre que los nuevos vectores de ataque han ampliado el conjunto de posibles exploits. 

«Por primera vez en décadas, estamos viendo nuevos y novedosos vectores de ataque que pueden provenir de cualquier lugar», escribió la empresa.

El ingeniero de software Marti Jorda Roca de NeuralTrust dijo que el público debe comprender que «existen peligros específicos al utilizar la IA desde el punto de vista de la seguridad».