Neue Schwachstelle in ServiceNow’s KI-Agenten kann dazu gebracht werden, gegeneinander zu handeln

Eine neue Schwachstelle in der Now-Assist-Plattform von ServiceNow kann es böswilligen Akteuren ermöglichen, ihre KI-Agenten zu manipulieren, um unbefugte Aktionen auszuführen, wie das SaaS-Sicherheitsunternehmen AppOmni detailliert darlegt.

Standardkonfigurationen in der Software, die es Agenten ermöglichen, sich gegenseitig zu entdecken und zusammenzuarbeiten, können zur Durchführung von Prompt-Injection-Angriffen weit über einen einzelnen böswilligen Eingabe hinaus weaponisiert werden, sagt Aaron Costello, Leiter der SaaS-Sicherheit bei AppOmni.

Die Schwachstelle ermöglicht es einem Angreifer, eine versteckte Anweisung in Datenfelder einzuschleusen, die ein Agent später liest, was möglicherweise stillschweigend die Hilfe anderer Agenten im selben ServiceNow-Team einfordert und eine Kettenreaktion auslöst, die zu Datendiebstahl oder Privilegienerweiterung führen kann. 

Costello erklärte das Szenario als „Prompt-Injection zweiter Ordnung“, bei der der Angriff entsteht, wenn die KI Informationen aus einem anderen Teil des Systems verarbeitet.

„Diese Entdeckung ist alarmierend, weil es sich nicht um einen Fehler in der KI handelt; es ist das erwartete Verhalten, wie es durch bestimmte Standardkonfigurationsoptionen definiert ist“, bemerkte er im Blog von AppOmni veröffentlicht Mittwoch.

ServiceNow Assist KI-Agenten sind koordinierten Angriffen ausgesetzt

Laut Costellos Untersuchungen, die im Blog zitiert werden, ist sich vielen Organisationen, die Now Assist einsetzen, möglicherweise nicht bewusst, dass ihre Agenten in Teams gruppiert sind und automatisch so eingestellt sind, dass sie sich gegenseitig entdecken, um eine scheinbar „unschädliche Aufgabe“ auszuführen, die sich zu einem koordinierten Angriff ausweiten kann. 

„Wenn Agenten sich gegenseitig entdecken und rekrutieren können, kann eine harmlose Anfrage stillschweigend zu einem Angriff werden, bei dem Kriminelle sensible Daten stehlen oder mehr Zugriff auf interne Firmensysteme erhalten“, sagte er.

Einer der Verkaufsargumente von Now Assist ist seine Fähigkeit, Agenten ohne Eingabe eines Entwicklers zu koordinieren, um sie in einen einzigen Workflow zu integrieren. Diese Architektur sieht vor, dass mehrere Agenten mit unterschiedlichen Spezialisten zusammenarbeiten, wenn einer eine Aufgabe nicht allein abschließen kann. 

Damit Agenten im Hintergrund zusammenarbeiten können, erfordert die Plattform drei Elemente. Erstens muss das zugrunde liegende Large Language Model (LLM) die Agentenerkennung unterstützen, eine Funktion, die bereits in das Standard-Now-LLM und das Azure OpenAI LLM. 

integriert ist. Zweitens müssen die Agenten zum selben Team gehören, was automatisch geschieht, wenn sie in Umgebungen wie der standardmäßigen Virtual-Agent-Erfahrung oder dem Now-Assist-Entwicklerpanel bereitgestellt werden. Drittens müssen die Agenten als „entdeckbar“ markiert sein, was ebenfalls automatisch geschieht, wenn sie in einen Kanal veröffentlicht werden.

Sobald diese Bedingungen erfüllt sind, leitet die AiA ReAct Engine Informationen weiter und delegiert Aufgaben unter Agenten, ähnlich wie ein Manager, der Untergebene anweist. Währenddessen führt der Orchestrator Entdeckungsfunktionen durch und identifiziert, welcher Agent am besten geeignet ist, eine Aufgabe zu übernehmen. 

Er sucht nur unter den innerhalb des Teams entdeckbaren Agenten, manchmal sogar mehr, als Administratoren erkennen. Diese vernetzte Architektur wird anfällig, wenn ein Agent so konfiguriert ist, dass er Daten liest, die nicht direkt vom Benutzer eingereicht wurden, der die Anfrage initiiert hat. 

„Wenn der Agent die Daten später im Rahmen eines normalen Betriebs verarbeitet, kann er unbewusst andere Agenten rekrutieren, um Funktionen wie das Kopieren sensibler Daten, das Ändern von Datensätzen oder das Erhöhen von Zugriffsstufen auszuführen“, schlussfolgerte Costello.

KI-Agenten-Angriff kann Privilegien erweitern, um Konten zu kompromittieren

AppOmni stellte fest, dass Now-Assist-Agenten Berechtigungen erben und unter der Autorität des Benutzers handeln, der den Workflow initiiert hat. Ein Angreifer mit niedrigen Rechten kann einen schädlichen Prompt einpflanzen, der während des Workflows eines privilegierten Mitarbeiters aktiviert wird, wodurch er Zugriff erhält, ohne jemals dessen Konto zu kompromittieren.

„Da KI-Agenten durch Ketten von Entscheidungen und Zusammenarbeit operieren, kann der injizierte Prompt tiefer in Unternehmenssysteme eindringen, als Administratoren erwarten“, lautete die Analyse von AppOmni.

AppOmni sagte, dass Angreifer Aufgaben, die für einen ungeschulten Agenten harmlos erscheinen, aber schädlich werden, sobald andere Agenten die Anweisung durch ihre spezialisierten Fähigkeiten verstärken, umleiten können. 

Das Unternehmen warnte, dass diese Dynamik Möglichkeiten für Gegner schafft, Daten ohne Aufsehen zu exfiltrieren. „Wenn Organisationen ihre Konfigurationen nicht genau prüfen, sind sie wahrscheinlich bereits gefährdet“, wiederholte Costello.

LLM-Entwickler Perplexitysagte in einem Blogbeitrag Anfang November, dass neuartige Angriffsvektoren den Pool potenzieller Schwachstellen erweitert haben. 

„Zum ersten Mal seit Jahrzehnten sehen wir neue und neuartige Angriffsvektoren, die von überall her kommen können“, schrieb das Unternehmen.

Softwareingenieur Marti Jorda Roca von NeuralTrust sagte, die Öffentlichkeit müsse verstehen, dass „es spezifische Gefahren beim Einsatz von KI im Sicherheitsbereich gibt.“