Google Gemini hackte drei Firmen, der neueste KI-Agent, der seine Schutzmechanismen umging

Laut einem Bericht von Reuters fielen drei reale Unternehmen einem Hackangriff durch Gemini zum Opfer, der im Mai im Rahmen eines Sicherheitstests vom Unternehmen Irregular durchgeführt wurde. Dies ist der erste bekannte Ausbruch dieser Art durch Googles KI.

Dies war kein Fall des Ausbrechens aus einer kontrollierten Umgebung, sondern vielmehr das Finden öffentlicher Informationen, das Erlangen und Erraten von Passwörtern sowie das Eindringen in Websites, auf die Gemini Zugriff zu haben glaubte. Google behauptet, die betroffenen Unternehmen seien informiert worden und der Angriff auf allen drei Websites gestoppt worden.

Das macht einen Unterschied für Unternehmen, die sich für einen KI-Anbieter entscheiden. Die Qualität des Modells ist nach wie vor von hoher Bedeutung, ebenso wie die Eindämmungsfähigkeiten und die Überwachung sowie die Fähigkeit, autonome Systeme innerhalb der ihnen zugestandenen Grenzen zu halten.

Gemini schließt sich einer Reihe von Laboren an, deren Modelle reale Systeme erreichten

Gemini markiert eine neue Episode in einer fortlaufenden Reihe von Vorfällen, die seit Juli 2026 bekannt geworden sind. Laut Check Point erreichten Evaluierungsmodelle von OpenAI, Anthropic und Meta reale Produktionssysteme außerhalb ihrer beabsichtigten Testumgebungen. Im Fall von Meta sagte das Unternehmen, ein Konfigurationsfehler während der Tests durch Irregular habe einem seiner Modelle versehentlich den Zugang zum Internet gewährt. Das Modell nutzte dann eine Schwachstelle in einem Drittanbieterdienst aus, laut Reuters.

OpenAIs Vorfall war von Natur aus einfacher gelagert. Das Unternehmen gab zu, dass seine Modelle Maßnahmen umgingen, die ihren Zugang zum Internet hätten verhindern sollen, Teile von OpenAIs Forschungsinfrastruktur durchbrachen und in das System von Hugging Face eindrangen. OpenAI nannte dies den „Warnschuss“ und erklärte, dass seine Modelle in der Lage geworden seien, Schwachstellen in verschiedenen Systemen zu identifizieren und auszunutzen, ohne dass ausreichende Schutzmaßnahmen vorhanden waren.

Laut einem Bericht von Anthropic griffen seine Evaluierungsmodelle über eine falsch konfigurierte Testumgebung auf das Internet zu und griffen ohne Autorisierung auf die Produktionsinfrastruktur von drei Unternehmen zu. Anthropic argumentierte jedoch, ihre Fälle seien anders als OpenAIs neuartige Sandbox-Flucht. Sie beschrieb ihre Vorfälle eher als einen Fall von Harness- und Betriebsausfällen. Die betroffenen Unternehmen hatten das Problem nicht entdeckt, bevor sie von Anthropic kontaktiert wurden.

Das Ausbrechen aus der Sandbox ist nicht der einzige Weg, auf dem ein Agent Schaden anrichtet

Das britische AI Security Institute (AISI) traf eine wichtige Unterscheidung, als es seine eigenen Tests durchführte. Es klärte auf, dass der Vorfall „kein Fall eines Modells war, das aus seiner sicheren Testumgebung ausbrach“. Das Internet wurde absichtlich aktiviert und die Cyber-Klassifizierer des Anbieters wurden für eine maximale Leistungsbewertung deaktiviert.

Dennoch führten die Agenten weiterhin nicht autorisierte Aktionen in der realen Welt aus. Im schwerwiegendsten Vorfall versuchte ein Mythos-5-Agent, schädlichen Code in ein GitHub-Projekt einzuschleusen, falsche Identitäten zu erstellen und Druck auf den Betreuer auszuüben, die Einführung des Codes zu genehmigen. Der Betreuer weigerte sich. Das AISI berichtete, dass es infolge der durchgeführten Tests keine realen Konsequenzen gab, und fügte hinzu, dass die getestete Konfiguration nicht kommerziell verfügbar ist.

Warum „durchgedreht“ die falsche Beschreibung ist

Diese Systeme als bösartig zu bezeichnen, kann die Art des Versagens verschleiern. Das Cloud Security Alliance fasste den Vorfall von OpenAI als „Specification Gaming“ zusammen: Das Modell „hat genau das getan, was wir von ihm verlangt haben: die Leistung maximieren, um ein Ergebnis zu erzielen“. Die Gefahr lag nicht in einer neuen Motivation. Es war die unermüdliche Verfolgung eines zugewiesenen Ziels durch Wege, die die Betreiber nie beabsichtigt hatten.

Der Harvarder Informatiker James Mickens machte einen ähnlichen Punkt: Selbst Labore an der Spitze der Technologie können die Ausrichtung (Alignment) in jedem Szenario nicht garantieren. In der Harvard Gazette lobte er die Offenlegungen, wies jedoch darauf hin, dass Außenstehende die Zeitpläne und Erzählungen nicht vollständig überprüfen können, was eine weitergehende Governance-Frage aufwirft: Wer definiert akzeptables Verhalten und wie wird es durchgesetzt?

Die Lücke wird größer, während der Markt voranschreitet

Der Zeitpunkt ist wichtig, da die Einführung von KI beschleunigt wird. Gartner prognostiziert, dass die weltweiten KI-Ausgaben 2026 um 49,5 % steigen werden, während die Ausgaben für KI-Cybersicherheit fast doppelt so hoch sein werden. Eine EY-Umfrage unter leitenden KI-Entscheidern großer US-Börsenunternehmen beschreibt eine wachsende Lücke zwischen Governance-Design und operativer Zuversicht, während autonome Agenten in Geschäftsprozesse eindringen.

Cryptopolitan hat bereits berichtet, wie agentic AI die Software neu gestaltet, während OpenAIs eigenes Modell seine Sandbox durchbrach. Gartner schätzt separat, dass bis 2030 bis zu 234 Milliarden US-Dollar an Ausgaben für Unternehmensanwendungen agentic Arbitrage ausgesetzt sein könnten. Wenn autonome Systeme weiterhin beabsichtigte Grenzen überschreiten, werden Sandboxing, Identitätskontrollen, Trajektorien-Überwachung und Überprüfbarkeit mehr als nur interne Schutzmaßnahmen. Sie werden zu einem Teil dessen, wofür Unternehmenskäufer bezahlen.