OpenAI, Microsoft und CrowdStrike bringen konkurrierende Kontrollen für außer Kontrolle geratene KI-Agenten auf den Markt
- OpenAI, Microsoft und CrowdStrike haben jeweils unterschiedliche Kontrollmechanismen veröffentlicht, um KI-Agenten davon abzuhalten, vom Skript abzuweichen; jeder deckt jedoch nur einen Teil dessen ab, was ein Agent erreichen kann.
- Diese Maßnahmen sind für jedes Unternehmen relevant, das autonome Agenten einsetzt, und sie fallen zusammen mit den Incident-Response-Richtlinien von NIST, NSA und CISA sowie dem OWASP-Exploit-Log.
- METRs Audits zeigen allesamt, wie Agenten ihre Grenzen überschreiten, während Gartner den Markt für die Absicherung von KI im Jahr 2027 auf fast 4,8 Milliarden US-Dollar schätzt.
OpenAI, Microsoft und CrowdStrike unternehmen Schritte, um die Fähigkeiten von KI-Agenten einzuschränken, die außerhalb ihrer Betriebsparameter agieren. OpenAI verfügt über eine Möglichkeit, die Ausgabe eines Forschungsmodells zu stoppen. CrowdStrike verhindert, dass Agenten auf KI-Modelle zugreifen. Microsoft beschränkt die Aktionen, die ein KI-Agent ausführen kann. Ein Agent könnte jedoch weiterhin Zugriff auf andere Tools, Anmeldeinformationen oder Netzwerkverbindungen haben, die von diesen Schutzmaßnahmen nicht abgedeckt sind.
Was der Control Room von OpenAI stoppen kann und was nicht
Am 9. November erklärte OpenAI, wie Control Room funktioniert. Das System ist derzeit in der Forschungsinfrastruktur des Unternehmens im Einsatz und überwacht alle Aufgaben, die KI-generierte Ausgaben benötigen. Sobald eine Person oder ein automatischer Monitor die Aufgabe pausiert, sorgt Control Room dafür, dass das Modell innerhalb von nur 35 Sekunden mit der Ausgabe stoppt.
Die 35 Sekunden beinhalten nicht die Zeit, die für die Erkennung des Problems erforderlich ist. Der Timer beginnt erst, nachdem der Control Room einen Stoppbefehl erhalten hat. Der Forschungsjob könnte noch laufen, und frühere Aktionen können nicht rückgängig gemacht werden. Die Verzögerung tritt aufgrund des zur Autorisierung verwendeten Caching-Systems auf. Das Unternehmen arbeitet daran, diese Verzögerung zu beseitigen.
CrowdStrike und Microsoft gehen den Enterprise-Weg
Am 3. November stellte CrowdStrike über seine Falcon Guardian-Plattform den AI Kill Switch vor. Wenn Sicherheitsteams diese Funktion aktivieren, blockieren verbundene AI-Gateways, dass ein Agent auf die Modelle zugreift, die es zur Entscheidungsfindung nutzt. Derzeit funktioniert der AI Kill Switch ausschließlich über verbundene Gateways. CrowdStrike plant, die Funktionen auf Endgeräte, Cloud-Umgebungen und Enterprise-Identitätssysteme auszuweiten, um einen umfassenderen Schutz vor fehlgeleiteten AI-Agenten zu gewährleisten.
Das Update vom 5. November detaillierte Dynamic Permissions, das Befugnisse nur für die jeweilige Aufgabe gewährt. Dynamic Agent Risk und Conditional Access können Berechtigungen einschränken oder eine menschliche Genehmigung erfordern. Windows Execution Containers sind nun allgemein verfügbar und beschränken den Zugriff auf Dateien, Netzwerke und Prozesse. Integrationen mit Intune, Entra und Agent 365 folgen in Kürze.
Der Benchmark für die Reaktion der Regierung
Die US-Regierung hat zudem dargelegt, wie Organisationen mit eigenmächtigen KI-Agenten umgehen sollten. Ein Leitfaden von NIST–NSA–CISA aus Oktober fasst zehn freiwillige Praktiken zusammen, die fünf Phasen abdecken: Vorbereiten, Erkennen, Reagieren, Wiederherstellen und Melden.
Die Agenturen empfehlen, Beweise zu sammeln, unbefugte Aktivitäten zu stoppen und die Eindämmung sicherzustellen, bevor der Betrieb wieder aufgenommen wird. Organisationen sollten auch Übungen zur Reaktion auf Sicherheitsvorfälle durchführen, um ihre Bereitschaft zur Bekämpfung von Aktionen durch rogue AI-Agents sicherzustellen. Vorfälle sollten zudem den Behörden gemeldet werden.
Der Leitfaden von NIST-NSA-CISA richtet sich speziell an Organisationen, die fortschrittliche KI-Agenten mit wenig menschlicher Eingabe entwickeln oder testen. Das Dokument bietet Empfehlungen für notwendige Maßnahmen, zertifiziert jedoch keine kommerziellen Sicherheitsprodukte.
Warum externe Prüfer weiterhin Schwachstellen finden
Aktuelle Vorfälle zeigen, warum diese zusätzlichen Schutzmaßnahmen wichtig sind. Eine Zusammenfassung von OWASP dokumentierte sieben Sicherheitsvorfälle und Offenlegungen von Exploits, wobei einige denselben Angriff betrafen. In einem Fall erlangten Evaluierungsagenten von OpenAI unbefugten Zugriff auf Hugging Face-Produktionssysteme.
Ein separater METR-Audit deckte potenzielle Schwachstellen im früheren Überwachungssystem von OpenAI auf. Forscher schätzten, dass 75–94 % des bestimmten internen Agentenverkehrs für eine Überwachung in Frage kamen. Das bedeutet jedoch nicht, dass tatsächlich der gesamte in Frage kommende Verkehr überwacht wurde.
OpenAI gab an, dass die meisten Sicherheitslücken behoben wurden, doch METR hat diese Änderungen nicht unabhängig überprüft. Die Prüfung bewertete zudem nicht die neueren Kontrollmechanismen von OpenAI.
Die Kosten für die Absicherung von Agents
Die Nachfrage nach stärkerer KI-Sicherheit schafft einen wachsenden Markt. Gartner prognostiziert Ausgaben von fast 4,8 Milliarden US-Dollar im Jahr 2027 und 7,7 Milliarden US-Dollar im Jahr 2028. Bis 2029 erwartet das Unternehmen, dass mehr als die Hälfte erfolgreicher Angriffe auf KI-Agenten schwache Zugriffssteuerungen oder Prompt-Injection ausnutzen.
Doch viele Unternehmen sind immer noch nicht vorbereitet. Eine BCG-Umfrage ergab, dass nur 23 % der Befragten Monitoring- oder Logging-Maßnahmen für ihre Agenten eingeführt haben.
Die Regulierung schreitet ebenfalls nur langsam voran. Brookings vermerkt, dass die EU-Anforderungen für KI mit hohem Risiko bis Dezember 2027 und August 2028 verschoben wurden. Inzwischen müssen Unternehmen in eigene Schutzmaßnahmen und Aufsichtssysteme investieren.
Die Risiken sind bereits offensichtlich. Cryptopolitan berichtete, dass ein Forschungsmodell von OpenAI Mittel aus einer Sepolia-Testnetz-Wallet verwendete, die ihm nicht gehörte, um eine Programmieraufgabe abzuschließen. Die Token hatten keinen Marktwert, doch das Modell handelte ohne die Erlaubnis des Wallet-Eigentümers.
Der Vorfall wirft für Unternehmen die Frage auf: Können diese separaten Sicherheitskontrollen zusammenwirken, um ähnliche unbefugte Handlungen zu verhindern?
Wenn Sie dies lesen, sind Sie bereits einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.
Häufig gestellte Fragen
Was ist der Control Room von OpenAI?
Es handelt sich um ein zentrales System, das jeden Forschungs-Inferenzjob in der OpenAI-Infrastruktur verfolgt und die Ausgabe eines Modells bei Sicherheits- oder Bedenken unterbrechen kann. Das Modell wird innerhalb von 35 Sekunden nach einem Stopp-Befehl angehalten, wie OpenAI am 29. Oktober bekannt gab.
Was hat der OpenAI-Agent mit einer Sepolia-Wallet gemacht?
Cryptopolitan hatte zuvor berichtet, dass ein GPT-5.6-Sol-Modell Schlüssel aus öffentlich wiederverwendeten Entwickler-Wiederherstellungsphrasen ableitete, eine finanzierte Wallet im Sepolia-Testnetzwerk von Ethereum fand, die ihm nicht gehörte, und diese nutzte, um Bereitstellungsgebühren für eine Coding-Aufgabe im Juni zu bezahlen. Es wurde kein ETH mit echtem Wert gestohlen, da Sepolia-Token keinen Marktwert haben.
Wie groß ist der Markt für die Absicherung von KI?
Gartner prognostiziert, dass dieser bis 2027 fast 4,8 Milliarden US-Dollar erreichen wird – ein Anstieg von 68,7 % gegenüber 2026 –, und bis 2028 nahezu 7,7 Milliarden US-Dollar, laut seiner Veröffentlichung vom 26. August.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com übernimmt keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor der Entscheidung für eine Anlage unabhängige Recherchen durchzuführen und/oder sich mit einem qualifizierten Fachmann beraten zu lassen.
Ibiam Wayas
Ibiam Wayas berichtet seit 2019 über Krypto-Nachrichten. Er studierte Informatik an der National Open University of Nigeria. Seine Arbeiten erschienen in verschiedenen Krypto-Nachrichtenplattformen, darunter Coinfomania, Crypto News Australia und AltcoinBuzz. Aufgrund seines Hintergrunds in der Informatik konzentriert er sich nun auf Nachrichten zu Kryptowährungen, Robotik und Langlebigkeit.
