Eine neue Sicherheitslücke in den KI-Agenten von ServiceNow ermöglicht es, diese dazu zu bringen, gegeneinander zu agieren.

Wie das SaaS-Sicherheitsunternehmen AppOmni detailliert darlegt, kann eine neue Sicherheitslücke in der Now Assist-Plattform von ServiceNow es Angreifern ermöglichen, die KI-Agenten des Unternehmens zu unautorisierten Aktionen zu verleiten.

Standardkonfigurationen in der Software, die es Agenten ermöglichen, einander zu entdecken und zusammenzuarbeiten, können ausgenutzt werden, um Prompt-Injection-Angriffe zu starten, die weit über eine einzelne bösartige Eingabe hinausgehen, sagt Aaron Costello, Leiter der SaaS-Sicherheit bei AppOmni.

Der Fehler ermöglicht es einem Angreifer, eine versteckte Anweisung in Datenfeldern einzubetten, die ein Agent später liest. Dadurch können unbemerkt andere Agenten desselben ServiceNow-Teams hinzugezogen werden, was eine Kettenreaktion auslöst, die zu Datendiebstahl oder Rechteausweitung führen kann. 

Costello erläuterte das Szenario als „Prompt-Injection zweiter Ordnung“, bei der der Angriff auftritt, wenn die KI Informationen aus einem anderen Teil des Systems verarbeitet.

„Diese Entdeckung ist alarmierend, weil es sich nicht um einen Fehler in der KI handelt; es ist ein erwartetes Verhalten, das defidurch bestimmte Standardkonfigurationsoptionen definiert ist“, bemerkte er in dem veröffentlichten .

ServiceNow Assist KI-Agenten einem koordinierten Angriff ausgesetzt

Laut Costellos Untersuchungen, die in dem Blog zitiert werden, sind sich viele Organisationen, die Now Assist einsetzen, möglicherweise nicht bewusst, dass ihre Agenten in Teams gruppiert sind und so programmiert sind, dass sie sich gegenseitigmaticals Verbündete erkennen, um eine scheinbar „harmlose Aufgabe“ auszuführen, die sich zu einem koordinierten Angriff ausweiten kann. 

„Wenn Agenten einander entdecken und anwerben können, kann sich eine harmlose Anfrage unbemerkt in einen Angriff verwandeln, bei dem Kriminelle sensible Daten stehlen oder sich einen besseren Zugang zu internen Unternehmenssystemen verschaffen“, sagte er.

Eines der Verkaufsargumente von Now Assist ist die Möglichkeit, Agenten ohne Entwicklereingriff zu koordinieren und in einen einzigen Workflow zu integrieren. Diese Architektur sieht vor, dass mehrere Agenten mit unterschiedlichen Spezialgebieten zusammenarbeiten, wenn einer eine Aufgabe nicht allein erledigen kann. 

Damit Agenten im Hintergrund zusammenarbeiten können, benötigt die Plattform drei Elemente. Erstens muss das zugrunde liegende große Sprachmodell die Agentenerkennung unterstützen, eine Funktion, die bereits sowohl in das standardmäßige Now LLM als auch in das Azure OpenAI LLM. 

Zweitens müssen die Agenten demselben Team angehören. Dies geschiehtmatic, wenn sie in Umgebungen wie der Standardoberfläche für virtuelle Agenten oder dem Now Assist-Entwicklerpanel bereitgestellt werden. Schließlich müssen die Agenten als „auffindbar“ markiert sein, was ebenfallsmaticgeschieht, wenn sie in einem Kanal veröffentlicht werden.

Sobald diese Bedingungen erfüllt sind, leitet die AiA ReAct Engine Informationen weiter und delegiert Aufgaben an Agenten, ähnlich wie ein Manager seine Mitarbeiter koordiniert. Gleichzeitig führt der Orchestrator Erkennungsfunktionen durch unddent, welcher Agent am besten für eine Aufgabe geeignet ist. 

Es durchsucht ausschließlich die auffindbaren Agenten innerhalb des Teams, manchmal sogar mehr, als Administratoren bewusst ist. Diese vernetzte Architektur wird angreifbar, wenn ein Agent so konfiguriert ist, dass er Daten liest, die nicht direkt vom anfragenden Benutzer übermittelt wurden. 

„Wenn der Agent die Daten später im Rahmen eines normalen Betriebs verarbeitet, kann er unwissentlich andere Agenten rekrutieren, um Funktionen wie das Kopieren sensibler Daten, das Ändern von Datensätzen oder das Erhöhen von Zugriffsrechten auszuführen“, vermutete Costello.

Ein Angriff durch einen KI-Agenten kann die Berechtigungen erweitern und so zum Eindringen in Konten führen.

AppOmni stellte fest, dass Now-Assist-Agenten Berechtigungen erben und unter der Autorität des Benutzers agieren, der den Workflow initiiert hat. Ein Angreifer mit geringen Berechtigungen kann eine schädliche Eingabeaufforderung einschleusen, die während des Workflows eines Mitarbeiters mit höheren Berechtigungen aktiviert wird und ihm so Zugriff verschafft, ohne jemals in dessen Konto einzudringen.

„Da KI-Agenten über Entscheidungsketten und Zusammenarbeit agieren, kann die eingespeiste Aufforderung tiefer in die Unternehmenssysteme eindringen, als Administratoren erwarten“, heißt es in der Analyse von AppOmni.

AppOmni erklärte, Angreifer könnten Aufgaben umleiten, die für einen ungeschulten Agenten harmlos erscheinen, aber schädlich werden, sobald andere Agenten die Anweisung durch ihre spezialisierten Fähigkeiten verstärken. 

Das Unternehmen warnte davor, dass diese Dynamik Angreifern die Möglichkeit bietet, Daten unbemerkt zu exfiltrieren. „Wenn Organisationen ihre Konfigurationen nicht genauestens überprüfen, sind sie wahrscheinlich bereits gefährdet“, bekräftigte Costello.

Der LLM-Entwickler Perplexityerklärte Anfang November in einem Blogbeitrag, dass neuartige Angriffsvektoren den Pool potenzieller Exploits erweitert hätten. 

„Zum ersten Mal seit Jahrzehnten sehen wir neue und neuartige Angriffsvektoren, die von überall herkommen können“, schrieb das Unternehmen.

Die Softwareingenieurin Marti Jorda Roca von NeuralTrust sagte, die Öffentlichkeit müsse verstehen, dass „die Verwendung von KI im Sicherheitsbereich spezifische Gefahren birgt“.