Trovato un nuovo exploit negli agenti AI di ServiceNow che possono essere indotti ad agire l'uno contro l'altro

Un nuovo exploit nella piattaforma Now Assist di ServiceNow può permettere ad attori malintenzionati di manipolare i suoi agenti AI per eseguire azioni non autorizzate, come dettagliato dalla società di sicurezza SaaS AppOmni.

Le configurazioni predefinite del software, che abilitano gli agenti a scoprire e collaborare tra loro, possono essere utilizzate come arma per lanciare attacchi di injection di prompt ben oltre un singolo input malizioso, afferma Aaron Costello, capo della Sicurezza SaaS presso AppOmni.

La vulnerabilità consente a un avversario di inserire un'istruzione nascosta all'interno di campi di dati che un agente legge successivamente, il che potrebbe reclutare silenziosamente l'aiuto di altri agenti dello stesso team ServiceNow, innescando una reazione a catena che può portare al furto di dati o all'escalation dei privilegi. 

Costello ha spiegato lo scenario come "injection di prompt di secondo ordine", in cui l'attacco emerge quando l'AI elabora informazioni da un'altra parte del sistema.

"Questa scoperta è allarmante perché non è un bug nell'AI; è un comportamento atteso come definito da determinate opzioni di configurazione predefinite", ha notato sul blog di AppOmni. ha pubblicato mercoledì.

Agent AI di ServiceNow Assist esposti ad attacchi coordinati

Secondo le indagini di Costello citate nel blog, molte organizzazioni che implementano Now Assist potrebbero non essere a conoscenza del fatto che i loro agenti vengono raggruppati in team e impostati per scoprirsi automaticamente l'un l'altro, al fine di eseguire un compito apparentemente "innocuo" che può evolversi in un attacco coordinato. 

"Quando gli agenti possono scoprirsi e reclutarsi a vicenda, una richiesta innocua può trasformarsi silenziosamente in un attacco, con criminali che rubano dati sensibili o ottengono un accesso maggiore ai sistemi interni dell'azienda", ha dichiarato.

Uno dei punti di forza di Now Assist è la sua capacità di coordinare gli agenti senza l'intervento di uno sviluppatore, fondendoli in un unico flusso di lavoro. Questa architettura prevede la collaborazione di diversi agenti con specializzazioni diverse se uno di essi non è in grado di completare un compito da solo. 

Per far lavorare gli agenti insieme dietro le quinte, la piattaforma richiede tre elementi. In primo luogo, il modello linguistico di grandi dimensioni (LLM) sottostante deve supportare la scoperta degli agenti, una funzionalità già integrata sia nel Now LLM predefinito che nel LLM Azure OpenAI. 

In secondo luogo, gli agenti devono appartenere allo stesso team, cosa che avviene automaticamente quando vengono distribuiti in ambienti come l'esperienza Virtual Agent predefinita o il pannello di sviluppo di Now Assist. Infine, gli agenti devono essere contrassegnati come "scopribili", cosa che avviene automaticamente quando vengono pubblicati su un canale.

Una volta soddisfatte queste condizioni, il motore AiA ReAct instrada le informazioni e delega i compiti tra gli agenti, operando come un manager che dirige i subordinati. Nel frattempo, l'Orchestrator svolge funzioni di scoperta e identifica quale agente è più adatto per assumere un compito. 

Esegue la ricerca solo tra gli agenti scopribili all'interno del team, a volte anche più di quanto gli amministratori si rendano conto. Questa architettura interconnessa diventa vulnerabile quando qualsiasi agente è configurato per leggere dati non inviati direttamente dall'utente che avvia la richiesta. 

"Quando l'agente elabora successivamente i dati nell'ambito di un'operazione normale, potrebbe inconsapevolmente reclutare altri agenti per svolgere funzioni come la copia di dati sensibili, la modifica dei record o l'escalation dei livelli di accesso", ha ipotizzato Costello.

L'attacco degli agenti AI può escalare i privilegi per violare gli account

AppOmni ha scoperto che gli agenti Now Assist ereditano le autorizzazioni e agiscono sotto l'autorità dell'utente che ha avviato il flusso di lavoro. Un attaccante di basso livello può inserire un prompt dannoso che viene attivato durante il flusso di lavoro di un dipendente con privilegi più elevati, ottenendo l'accesso senza mai violare il loro account.

"Poiché gli agenti AI operano attraverso catene di decisioni e collaborazione, il prompt iniettato può raggiungere sistemi aziendali più profondamente di quanto gli amministratori si aspettino", recitava l'analisi di AppOmni.

AppOmni ha affermato che gli attaccanti possono reindirizzare attività che sembrano innocue per un agente non addestrato, ma che diventano dannose una volta che altri agenti amplificano l'istruzione attraverso le loro capacità specializzate. 

L'azienda ha avvertito che questa dinamica crea opportunità per gli avversari di esfiltrare dati senza suscitare sospetti. "Se le organizzazioni non esaminano attentamente le loro configurazioni, è probabile che siano già a rischio", ha reiterato Costello.

Sviluppatore LLM Perplexity, ha dichiarato in un post sul blog di inizio novembre che i vettori di attacco innovativi hanno ampliato il pool di potenziali exploit. 

"Per la prima volta in decenni, stiamo vedendo nuovi e innovativi vettori di attacco che possono provenire da qualsiasi luogo", ha scritto l'azienda.

L'ingegnere del software Marti Jorda Roca di NeuralTrust ha affermato che il pubblico deve comprendere che "esistono pericoli specifici nell'utilizzo dell'AI in termini di sicurezza".