Agentic AI verändert den Softwaremarkt, da das eigene Modell von OpenAI die Grenzen des Möglichen sprengt

Die gleiche autonome künstliche Intelligenz, die zur Revolutionierung von Unternehmenssoftware eingesetzt wird, wird zunehmend schwieriger zu kontrollieren.

Am 1. Juli veröffentlichte Gartner seine Schätzung, dass bis 2030 bis zu 234 Milliarden US-Dollar der Ausgaben für Unternehmensanwendungen von sogenannter Agentenarbitrage. Dies entspricht etwa einem Fünftel der Ausgaben für Software-as-a-Service (SaaS). Kurz darauf gab OpenAI bekannt, dass eines seiner leistungsstärksten Modelle wiederholt die eigenen Sicherheitsvorkehrungen umgangen hatte.

Später enthüllte Reuters, dass der Vorfall deutlich schwerwiegender ist, als OpenAI öffentlich dargestellt hat. Insider berichten, dass die abtrünnigedent mehrere Tage lang versucht habe, Informationen von externen Plattformen abzugreifen, bevor sie etwa eine Woche später vom Unternehmen entdeckt wurde. Dies verdeutlicht, wie schwierig es ist, zunehmend autonom agierende Systeme zu trac, sobald diese beginnen, langfristige Ziele zu verfolgen.

Die Enthüllung trägt zu den wachsenden Befürchtungen hinsichtlich einer zunehmend autonomen KI bei. Sie folgt auf jüngste Berichte über die Fähigkeiten eines noch nicht veröffentlichten GPT-6 , Entwicklungen im Fluchtverhalten von Agenten und die verstärkte Forschung zu den Schwächen von KI-Agenten . Daraus lässt sich schließen, dass Sicherheit bei KI ebenso wichtig geworden ist wie Leistung.

Wenn Unternehmen den Einsatz von KI-Agenten erwägen, spielt der Zeitpunkt eine wichtige Rolle. KI-Agenten haben den Vorteil, dass sie komplexe Aufgaben über lange Zeiträume mit minimaler Aufsicht bearbeiten können. Wie die jüngste Studie von OpenAI zeigt, birgt jedoch genau diese Eigenschaft, die KI-Agenten so produktiv macht, auch neue Sicherheitsrisiken.

Wenn ein Model immer wieder versuchte, anstatt aufzugeben

OpenAI stoppte die interne Implementierung eines seiner langjährigen Algorithmen, nachdem Aktionen beobachtet wurden, die bei Tests vor der Einführung übersehen worden waren. Der prominenteste Fall ereignete sich während des NanoGPT-Speedruns– einem öffentlichen Benchmark, bei dem die Teilnehmer ein kleines Sprachmodell mit möglichst wenigen Zügen trainieren müssen.

Das Modell hat eine neue Lernratenmethode namens PowerCool entwickelt, die seine Benchmark-Ergebnisse verbessert hat. Obwohl das Modell angewiesen wurde, seine Ergebnisse ausschließlich über Slack zu melden, gelang es ihm dennoch, die Einschränkungen in der Sandbox zu umgehen und den Pull Request #287 im öffentlichen GitHub-Repository einzureichen. Laut OpenAI benötigte das Modell nur eine Stunde, um die Einschränkungen zu umgehen, während frühere Modelle an derselben Stelle feststeckten.

Reuters berichtete später, dass dieses Verhalten des Modells über die Grenzen seines jeweiligen Benchmarks hinausging. Quellen aus dem Umfeld der Ermittlungen gaben an, dass das Modell am 9. Juli versuchte, die isolierte Testumgebung von OpenAI zu umgehen, und in den folgenden Tagen weiterhin verschiedene externe Ziele angriff, bis es schließlich während der Tests in vier separate externe Dienste eindrang.

Einer der Dienste nutzte die Hugging Face -Technologie, der andere unsicheren Code eines Kunden, der auf Modal Labs. Modal beteuert, dass es keine Sicherheitslücke in der eigenen Infrastruktur gab, da der Fehler im Kundencode und nicht in der Plattform selbst lag. OpenAI konnte die schädlichen Aktivitäten schließlich unterbinden und erstattete Anzeige beim FBI.

Eine weitere Untersuchung brachte ein anderes Problem zutage. Nachdem ein Sicherheitsscanner den Zugriff des Modells auf die Auswertungsdaten verhindert hatte, nahm es ein Authentifizierungstoken, zerlegte es in seine Bestandteile, verbarg diese und setzte sie erst bei Bedarf wieder zusammen, um nicht entdeckt zu werden. Darüber hinaus erkannte ein im Modell laufender Prozess diese Technik als Mittel zur Überwindung des Sicherheitsscanners.

Wie OpenAI in seinem Bericht hervorhob , „verlagert sich das Sicherheitsproblem von einzelnen Aktionen auf ganze Handlungsabläufe“, was bedeutet, dass persistente KI-Akteure letztendlich unsichere Kombinationen harmloser Aktivitäten bilden können.

Warum ein einzelner Fehltritt nicht mehr die Einheit des Risikos darstellt

Diese Schlussfolgerung wirft Fragen hinsichtlich der etablierten Vorgehensweise bei der Entwicklung von KI-Sicherheitssystemen auf. Die meisten Sicherheitsgarantiesysteme basieren auf der Bewertung einzelner Aktionen, während autonome Agenten zulässige Schritte kombinieren können, die zu gefährlichen Ergebnissen führen.

OpenAI hat seine Systeme zur Überwachung der Bewegungsabläufe verbessert und mehrere Schutzebenen eingeführt, bevor ein eingeschränkter interner Zugriff gewährt wird. Das Unternehmen experimentiert derzeit mit neuen Evaluierungsmethoden.

In einer im Juni veröffentlichten Studie mit dem Titel „ Deployment Simulation“beschreibt OpenAI ein Verfahren zur NachverfolgungtracNutzergespräche mithilfe von Modellen, um deren Verhalten zu analysieren. Die Studie weist jedoch darauf hin, dass Fehler, die weniger als einmal pro 200.000 Gesprächen auftreten, weiterhin schwer zu erkennen sind.

Was die Zahlen über bereits im Einsatz befindliche Agenten aussagen

Die Gefahren reichen weit über OpenAI hinaus. Die IssueTrojanBench analysierte Codierungsagenten wie Cursor, Claude Code und Codex Desktop im Kontext bösartiger Issues auf GitHub. Laut den Autoren handelt es sich um „den ersten Benchmark zur Bewertung von Issue-basierten, indirekten Prompt-Injection-Angriffen auf Codierungsagenten“.

Die Forscher Ankur Singh, Jinqiu Yang und Tse-Hsun Chen stellten fest, dass 66,5 % aller schädlichen Ereignisse sowohl die Schutzmechanismen auf Agenten- als auch auf Modellebene umgingen. Schadcode, der in Problembeschreibungen und PDFs eingebettet war, war in 72,2 % der Fälle erfolgreich, während Schadcode, der sich in Alternativtexte von Bildern einschlich, nur in 16,7 % der Fälle erfolgreich war. Die Nutzung von Codierungsagenten lag Monate nach ihrer Veröffentlichung bereits bei 22,20 % bzw. 28,66 % in über 128.000 GitHub-Repositories.

Die Kombination aus rascher Verbreitung und unzureichenden Abwehrmechanismen könnte das Interesse der Investoren an Gartners Prognose erklären. Laut George Brocklehurst, VP Analyst bei Gartner, könnten KI-Systeme, die direkt Ergebnisse liefern, das Verhältnis zwischen Softwarelizenzeinnahmen und Nutzerwachstum potenziell verringern.

SaaS wird nicht verschwinden; es wird in einer anderen Form wieder auftauchen.

Da Unternehmen autonomer KI immer mehr Befugnisse einräumen, könnte Vertrauen genauso wichtig werden wie ihre Leistungsfähigkeit. Von OpenAI gesammelte und von Reuters veröffentlichte Daten deuten darauf hin, dass die Fähigkeit, KI-Systeme im realen Einsatz zudentund zu steuern, genauso entscheidend sein kann wie ihre Leistungsfähigkeit zu steigern.