Une nouvelle faille découverte dans les agents d'IA de ServiceNow permet de les tromper et de les amener à agir les uns contre les autres.

Une nouvelle faille dans la plateforme Now Assist de ServiceNow permet à des acteurs malveillants de manipuler ses agents d'IA pour qu'ils effectuent des actions non autorisées, comme l'a détaillé la société de sécurité SaaS AppOmni.

Les configurations par défaut du logiciel, qui permettent aux agents de se découvrir et de collaborer entre eux, peuvent être utilisées à mauvais escient pour lancer des attaques par injection rapide bien au-delà d'une simple entrée malveillante, explique Aaron Costello, responsable de la sécurité SaaS chez AppOmni.

Cette faille permet à un adversaire d'insérer une instruction cachée dans des champs de données qu'un agent lit ultérieurement, ce qui peut discrètement inciter d'autres agents de la même équipe ServiceNow à l'aide, déclenchant une réaction en chaîne pouvant conduire à un vol de données ou à une élévation de privilèges. 

Costello a décrit ce scénario comme une « injection prompte de second ordre », où l'attaque survient lorsque l'IA traite des informations provenant d'une autre partie du système.

« Cette découverte est alarmante car il ne s'agit pas d'un bug de l'IA ; c'est un comportement attendu, defipar certaines options de configuration par défaut », a-t-il indiqué sur le blog d'AppOmni, publié mercredi.

Les agents d'IA de ServiceNow Assist exposés à une attaque coordonnée

Selon les investigations de Costello citées dans le blog, de nombreuses organisations déployant Now Assist pourraient ignorer que leurs agents sont regroupés en équipes et configurés pour se découvrirmaticafin d'effectuer une tâche apparemment « inoffensive » qui peut se transformer en une attaque coordonnée. 

« Lorsque des agents peuvent se découvrir et se recruter mutuellement, une demande anodine peut se transformer discrètement en attaque, les criminels volant des données sensibles ou obtenant un accès accru aux systèmes internes de l'entreprise », a-t-il déclaré.

L'un des atouts de Now Assist réside dans sa capacité à coordonner les agents sans intervention d'un développeur, afin de les intégrer dans un flux de travail unique. Cette architecture permet à plusieurs agents aux spécialités différentes de collaborer lorsqu'un agent ne peut mener à bien une tâche seul. 

Pour que les agents puissent collaborer en arrière-plan, la plateforme nécessite trois éléments. Premièrement, le modèle de langage sous-jacent doit prendre en charge la découverte des agents, une fonctionnalité déjà intégrée à la fois au modèle de langage par défaut de Now et au modèle de langage Azure OpenAI. 

Deuxièmement, les agents doivent appartenir à la même équipe, ce qui estmaticlors de leur déploiement dans des environnements tels que l'interface par défaut de l'agent virtuel ou le panneau développeur de Now Assist. Enfin, les agents doivent être marqués comme « détectables », ce qui est égalementmaticlors de leur publication sur un canal.

Une fois ces conditions remplies, le moteur AiA ReAct achemine les informations et répartit les tâches entre les agents, à la manière d'un manager dirigeant ses subordonnés. Parallèlement, l'orchestrateur effectue des fonctions de découverte etdentl'agent le plus apte à accomplir une tâche. 

La recherche s'effectue uniquement parmi les agents détectables au sein de l'équipe, parfois même au-delà de ce que les administrateurs imaginent. Cette architecture interconnectée devient vulnérable lorsqu'un agent est configuré pour lire des données qui ne sont pas directement soumises par l'utilisateur à l'origine de la requête. 

« Lorsque l’agent traite ultérieurement les données dans le cadre d’une opération normale, il peut, sans le savoir, recruter d’autres agents pour effectuer des tâches telles que la copie de données sensibles, la modification d’enregistrements ou l’augmentation des niveaux d’accès », a supposé Costello.

Une attaque par un agent IA peut permettre d'élever les privilèges et de compromettre des comptes.

AppOmni a constaté que les agents Now Assist héritent des autorisations et agissent sous l'autorité de l'utilisateur ayant initié le flux de travail. Un attaquant peu expérimenté peut ainsi insérer un message malveillant qui s'active lors du traitement du flux de travail d'un employé disposant de privilèges plus élevés, lui permettant d'accéder au système sans jamais compromettre son compte.

« Étant donné que les agents d'IA fonctionnent par chaînes de décisions et de collaboration, l'invite injectée peut pénétrer plus profondément dans les systèmes d'entreprise que ne le prévoient les administrateurs », indique l'analyse d'AppOmni.

AppOmni a indiqué que les attaquants peuvent rediriger des tâches qui semblent anodines vers un agent non formé, mais qui deviennent nuisibles une fois que d'autres agents amplifient l'instruction grâce à leurs capacités spécialisées. 

L'entreprise a averti que cette situation offre aux adversaires la possibilité d'exfiltrer des données sans éveiller les soupçons. « Si les organisations n'examinent pas attentivement leurs configurations, elles sont probablement déjà vulnérables », a réaffirmé Costello.

développeur de LLM Perplexity, a déclaré dans un article de blog publié début novembre que de nouveaux vecteurs d'attaque ont élargi le champ des exploits potentiels. 

« Pour la première fois depuis des décennies, nous constatons l'apparition de vecteurs d'attaque nouveaux et inédits qui peuvent provenir de n'importe où », a écrit l'entreprise.

L’ingénieur logiciel Marti Jorda Roca de NeuralTrust a déclaré que le public devait comprendre qu’« il existe des dangers spécifiques liés à l’utilisation de l’IA en matière de sécurité ».