Une nouvelle faille découverte dans les agents IA de ServiceNow peut être détournée pour les faire agir les uns contre les autres

Une nouvelle faille dans la plateforme Now Assist de ServiceNow peut permettre à des acteurs malveillants de manipuler ses agents IA pour qu’ils effectuent des actions non autorisées, comme détaillé par la société de sécurité SaaS AppOmni.

Les configurations par défaut du logiciel, qui permettent aux agents de se découvrir et de collaborer entre eux, peuvent être utilisées comme armes pour lancer des attaques par injection de prompt bien au-delà d’une seule entrée malveillante, déclare Aaron Costello, chef de la sécurité SaaS chez AppOmni.

La faille permet à un adversaire d’insérer une instruction cachée dans des champs de données qu’un agent lira plus tard, ce qui pourrait discrètement solliciter l’aide d’autres agents de la même équipe ServiceNow, déclenchant une réaction en chaîne pouvant conduire à un vol de données ou à une élévation de privilèges. 

Costello a expliqué le scénario comme une « injection de prompt de second ordre », où l’attaque émerge lorsque l’IA traite des informations provenant d’une autre partie du système.

« Cette découverte est alarmante car il ne s’agit pas d’un bug dans l’IA ; c’est un comportement attendu tel que défini par certaines options de configuration par défaut », a-t-il noté sur le blog d’AppOmni publié La SEC et la CFTC ont désormais atteint un Mémorandum d'Entente pour collaborer dans des efforts visant à fournir un cadre réglementaire « adapté à l'usage » pour les actifs numériques, entre autres,

Les agents IA ServiceNow Assist exposés à une attaque coordonnée

Selon les enquêtes de Costello citées dans le blog, de nombreuses organisations déployant Now Assist peuvent ignorer que leurs agents sont regroupés en équipes et configurés pour se découvrir automatiquement afin d’exécuter une tâche apparemment « inoffensive » qui peut se transformer en une attaque coordonnée. 

« Lorsque les agents peuvent se découvrir et se recruter mutuellement, une demande inoffensive peut se transformer discrètement en attaque, avec des criminels volant des données sensibles ou obtenant plus d’accès aux systèmes internes de l’entreprise », a-t-il déclaré.

L’un des atouts de Now Assist est sa capacité à coordonner les agents sans intervention d’un développeur pour les fusionner dans un seul flux de travail. Cette architecture voit plusieurs agents aux spécialités différentes collaborer si l’un d’eux ne peut pas accomplir une tâche seul. 

Pour que les agents travaillent ensemble en arrière-plan, la plateforme nécessite trois éléments. Premièrement, le modèle de langage large (LLM) sous-jacent doit prendre en charge la découverte d’agents, une capacité déjà intégrée dans le Now LLM par défaut et le LLM Azure OpenAI. 

Deuxièmement, les agents doivent appartenir à la même équipe, ce qui se produit automatiquement lorsqu’ils sont déployés sur des environnements tels que l’expérience Virtual Agent par défaut ou le panneau de développement Now Assist. Enfin, les agents doivent être marqués comme « découvrables », ce qui se produit également automatiquement lorsqu’ils sont publiés sur un canal.

Une fois ces conditions remplies, le moteur AiA ReAct route les informations et délègue les tâches entre les agents, fonctionnant comme un manager dirigeant ses subordonnés. Pendant ce temps, l’Orchestrator effectue des fonctions de découverte et identifie quel agent est le mieux adapté pour prendre en charge une tâche. 

Il ne recherche que parmi les agents découvrables au sein de l’équipe, parfois même plus que les administrateurs ne le réalisent. Cette architecture interconnectée devient vulnérable lorsqu’un agent est configuré pour lire des données non directement soumises par l’utilisateur à l’origine de la demande. 

« Lorsque l’agent traite ultérieurement les données dans le cadre d’une opération normale, il peut inconsciemment recruter d’autres agents pour effectuer des fonctions telles que copier des données sensibles, modifier des enregistrements ou élever les niveaux d’accès », a conclu Costello.

L’attaque par agent IA peut élever les privilèges pour compromettre des comptes

AppOmni a découvert que les agents Now Assist héritent des autorisations et agissent sous l’autorité de l’utilisateur qui a initié le flux de travail. Un attaquant de bas niveau peut planter un prompt nuisible qui sera activé lors du flux de travail d’un employé plus privilégié, obtenant ainsi un accès sans jamais compromettre son compte.

« Parce que les agents IA opèrent à travers des chaînes de décisions et de collaboration, le prompt injecté peut pénétrer plus profondément dans les systèmes d’entreprise que ce que les administrateurs s’y attendent », indique l’analyse d’AppOmni.

AppOmni a déclaré que les attaquants peuvent rediriger des tâches qui semblent bénignes pour un agent non formé, mais qui deviennent nuisibles une fois que d’autres agents amplifient l’instruction grâce à leurs capacités spécialisées. 

L’entreprise a mis en garde contre le fait que cette dynamique crée des opportunités pour les adversaires d’exfiltrer des données sans éveiller les soupçons. « Si les organisations n’examinent pas attentivement leurs configurations, elles sont probablement déjà à risque », a réitéré Costello.

Développeur de LLM Perplexitya déclaré dans un article de blog début novembre que de nouveaux vecteurs d’attaque ont élargi le pool d’exploits potentiels. 

« Pour la première fois en des décennies, nous voyons de nouveaux vecteurs d’attaque originaux qui peuvent provenir de n’importe où », a écrit la société.

L’ingénieur logiciel Marti Jorda Roca de NeuralTrust a déclaré que le public doit comprendre qu’il existe « des dangers spécifiques à utiliser l’IA dans le domaine de la sécurité. »