Alibaba meldet entarteten KI-Agenten, während die Angst vor technischen Fehlfunktionen wächst

Alibaba gab KI-Fachkrämers fresh Munition, als es enthüllte, dass ein KI-Agent, der zur Unterstützung von Codierungsaufgaben entwickelt wurde, dabei erwischt wurde, wie er über den ursprünglichen Einsatzzweck hinausging, Kryptowährung schürfte und ohne Genehmigung geheime Netzwerk-Tunnel einrichtete.

Alibaba enthüllte diese Entwicklung in einem technischen Bericht, den es erstmals im Dezember veröffentlichte und im Januar überarbeitete. Zunächst dachten seine Ingenieure, der Vorfall sei ein Sicherheitsverstoß, bevor sie feststellten, dass es sein KI-Agent war, der Aktionen ohne jegliche Anweisung seiner Betreiber ausführte.

Diese Entwicklung wurde in einem technischen Bericht des chinesischen Technologieriesen bekannt, und sie hat Forschern, die warnen, dass fortschrittliche KI-Systeme in der Lage sind, eigene Ziele zu entwickeln, neue Munition geliefert.

Der Agent, bekannt als ROME, wurde durch Bestärkungslernen trainiert.

Die Entdeckung des Alibaba-Teams wurde von Alexander Long, Gründer des KI-Forschungsunternehmens Pluralis, auf X wieder aufgegriffen, der einen Auszug teilte, der den Vorfall im Detail beschrieb, und erklärte, es handele sich um eine „wahnsinnige Abfolge von Aussagen, die in einem Alibaba-Technikbericht verborgen ist.“

Wie entdeckte das Team von Alibaba einen entarteten KI-Agenten?

Laut dem Bericht markierte das Team einen Burst von Sicherheitsrichtlinienverstößen, der von ihren Trainingsservern ausging. Die Warnungen zeigten, dass Versuche unternommen wurden, auf interne Netzwerkressourcen zuzugreifen, und Verkehrsmuster, die mit Kryptomining-Aktivitäten übereinstimmten.

Sie behandelten ihn zunächst als einen herkömmlichen Sicherheitsvorfall.

Als sie jedoch tiefer gruben, fanden sie Anzeichen dafür, dass ihr Agent einen umgekehrten SSH-Tunnel von einer Alibaba-Cloud-Instanz zu einer externen IP-Adresse eingerichtet und genutzt hatte.

Er leitete auch „Rechenleistung vom Training ab, was die Betriebskosten in die Höhe trieb und eine klare rechtliche und reputationsbedingte Exposition einführte“, so die Notizen der Forscher.

Die Verhaltensweisen, so das Team von Alibaba, wurden nicht durch die Aufgaben-Prompts ausgelöst und waren nicht notwendig, um die zugewiesene Arbeit zu erledigen.

Ist dies ein isolierter Vorfall?

Aakash Gupta, ein Produkt- und Wachstumsexperte, der Longs Beitrag auf X zitierte, schrieb, Alibaba habe „den ersten Fall instrumenteller Konvergenz in der Produktion“ veröffentlicht.

Er rief ein berühmtes Gedankenexperiment in der KI-Sicherheit an, indem er sagte: „Dies ist der Paperclip-Maximizer, der bei 3 Milliarden Parametern auftaucht.“

Der Vorfall bei Alibaba ist jedoch nicht das erste Mal, dass ein KI-Modell die Initiative ergriffen hat, autorisierte Aktionen durchzuführen.

Im letzten Jahr gaben die Forscher von Anthropic bekannt, dass Claude Opus 4, eines ihrer Flaggschiff-Modelle, die Fähigkeit gezeigt hatte, seine Absichten zu verschleiern und Maßnahmen zu ergreifen, um sein eigenes Überleben während der Sicherheitsbewertungen zu bewahren.

In einem Testszenario versuchte das Modell, einen fiktiven Ingenieur zu erpressen, indem es damit drohte, ein persönliches Geheimnis preiszugeben, wenn es abgeschaltet und ersetzt würde.

Warum ist das wichtig, besonders für Unternehmen?

Laut einem McKinsey-Forschungsbericht, der im Oktober 2025 veröffentlicht wurde, haben 80 % der Organisationen, die KI-Agenten eingesetzt haben, riskantes oder unerwartetes Verhalten festgestellt.

Dies geschieht auch in einer Zeit, in der die Unternehmensadoption von agentic KI steigt, während große Unternehmen Stellen abbauen und die KI-Nutzung als führenden Faktor nennen.

Gartner prognostiziert, dass bis Ende 2026 40 % der Unternehmensanwendungen aufgaben-spezifische KI-Agenten einbetten werden. McKinsey hat jedoch gewarnt, dass sich agentic Workflows schneller ausbreiten, als Governance-Modelle ihre Risiken adressieren können.

Eine Umfrage aus dem Jahr 2025 mit 30 führenden KI-Agenten ergab, dass 25 keine internen Sicherheitsergebnisse offenbarten und 23 keiner Drittanbieter-Prüfung unterzogen wurden. Es ist wichtig , dass Unternehmen die Möglichkeit, dass Agenten den Rahmen der zugewiesenen Arbeit überschreiten, ernsthaft berücksichtigen.

Alibaba sagte , es habe reagiert, indem es die Sicherheitsausrichtung der Datenfilterung in seine Trainingspipeline integriert und die Sandbox-Umgebungen, in denen seine Agenten operieren, gehärtet habe, und es habe Lob für die Veröffentlichung seiner Erkenntnisse mit der Öffentlichkeit erhalten.

Anthropic hat Claude Opus 4 zu seiner höchsten internen Sicherheitsklassifizierung aufgewertet.