Anthropic warnt: Kleine KI-Modelle könnten sich auf Heimgeräten selbst replizieren

Das Frontier Red Team von Anthropic hat erklärt, dass kompakte KI-Modelle möglicherweise nur noch wenige Monate davon entfernt sind, sich auf günstige, internetverbundene Haushaltsgeräte zu kopieren, ohne ein Rechenzentrum einzubeziehen. Die Forscher haben gewarnt, dass dieses Szenario sehr schwer zu kontrollieren sein wird, da die Modelle nur schwer abgeschaltet werden können, da nichts Zentrales sie steuert.

Der Forschungsartikel wurde am 12. Oktober auf der Website von Anthropic veröffentlicht und ist für jeden, der intelligente Geräte im Haushalt oder in einem kleinen Unternehmen betreibt, ein Anliegen.

Fünfzehn günstige TV-Boxen, ein 26-Milliarden-Parameter-Modell

Die Forscher William Zhou und Daniel Freeman demonstrierten das potenzielle Risiko, indem sie 15 Android-TV-Boxen einer unbekannten Marke verknüpften, um Gemma4-26B-A4B auszuführen – ein Modell mit 26 Milliarden Parametern. Jede Box kostete etwa 55 US-Dollar und verfügte über 4 GB RAM. Die Forscher verteilten die Schichten des Modells auf die Geräte unter Verwendung einer Technik namens Pipeline-Parallelismus.

Diese Sammlung von 15 verschiedenen Android-Box-Geräten erzeugte insgesamt nur 0,39 Tokens pro Sekunde, was sie für jegliche praktische Chatbot-Nutzung zu langsam macht. Die Forscher argumentierten jedoch, dass sich ein sich selbst verbreitender Wurm nicht unbedingt mit hoher Geschwindigkeit auf einem einzelnen Gerät ausbreiten muss und tatsächlich eher davon profitieren würde, eine große Anzahl von Geräten zu erreichen.

Sie verwiesen zudem auf Kimwolf, einen Botnet, der mehr als zwei Millionen meist No-Name-Android-Fernseher infizierte, als Beispiel dafür, wie viele schlecht gesicherte Geräte in den Häusern der Nutzer leichte Beute darstellen.

Keines der getesteten Modelle konnte sich zuverlässig auf einem anderen Gerät replizieren, während es klein genug blieb, um auf einem Smart-TV zu laufen. Die Forscher erwarten, dass diese Lücke bis Ende 2026 geschlossen wird, wenn leichtgewichtige Open-Source-Modelle weiterhin im aktuellen Tempo voranschreiten.

Replikation in vier Schritten und ein Modell, das es geschafft hat

Anthropic hat den Replikationsprozess in vier verschiedene Phasen unterteilt. Dazu gehören das Identifizieren von Zielen, die Fähigkeit zur Codeausführung, das Konfigurieren der Inferenz und anschließend das Wiederholen des Prozesses von jedem neu infizierten Gerät aus.

Die Forscher haben die anfänglichen Hacking-Schritte weitgehend ausgeklammert und auf frühere Arbeiten verwiesen, die zeigen, dass kleine Modelle bereits Cyber-Exploits durchführen können. Stattdessen konzentrierten sie sich auf die dritte Phase der Konfiguration des Inferenzprozesses, die eine umfangreiche Reihe hardware-spezifischer Entscheidungen umfasst.

Um den gesamten Prozess zu testen, richteten die Forscher ein isoliertes Netzwerk aus acht Google Cloud-Knoten ein, auf denen jeweils ein Android-Emulator lief. Ein vorinstallierter Wurm verbreitete sich über einen ungesicherten Android Debug Bridge-Anschluss zwischen den Knoten und richtete anschließend einen Server für Llama3.1-8B ein. Von den getesteten Open-Weight-Modellen schloss nur GLM-5.2, entwickelt von Chinas Z.ai, den vollständigen Replikationszyklus ab und erreichte in vier von fünf Durchläufen alle acht Knoten.

Die Modelle wurden erfolgreicher darin, sich selbst einzurichten, während sie sich über Generationen hinweg ausbreiteten. Als Instanzen des Qwen3.5-9B-Modells mit 9 Milliarden Parametern Setup-Hinweise an ihre Nachfolger weitergaben, stieg die Erfolgsrate von 45 % in der ersten Generation auf zwischen 61 % und 84 % in den nachfolgenden Generationen.

Anthropic erklärt, warum ein dezentraler Wurm schwer zu eliminieren ist

Rohgeschwindigkeit ist in diesem Szenario nicht das Hauptanliegen, wie Anthropic erläutert hat. Anthropic schätzt, dass die Konfiguration des 26B-Modells auf den TV-Boxen zwischen 71 und 150 Stunden dauern würde. Das größere Risiko liegt in der Persistenz: Da es keinen zentralen Server oder menschlichen Bediener gibt, der das System herunterfahren könnte, kann es den üblichen Methoden zur Eindämmung und Deaktivierung entgehen.

Roman V. Yampolskiy, KI- und Cybersicherheitsexperte an der University of Louisville, betonte die große Bedeutung der Ergebnisse. Yampolskiy argumentierte, dass KI-gesteuerte Würmer über herkömmliche Malware hinausgehen könnten, indem sie mit unbekannten Geräten reasoning betreiben, sich anpassen, wenn eine Strategie fehlschlägt, und sich ohne menschliches Eingreifen weiterverbreiten.

Obwohl er sie heute nicht als existenzielle Bedrohung einstuft, warnte er, dass ihre Entwicklung besorgniserregend ist.

„Heim- und IoT-Geräte für kleine Unternehmen könnten das erste Ziel solcher Angriffe sein, da sie mit dem Internet verbunden sind und historisch gesehen nur minimale Sicherheitsmaßnahmen aufweisen“, schrieben Zhou und Freeman im Artikel von Anthropic.

Die Verteidiger haben immer noch die Oberhand

Anthropic hat die Abwehr mit der Eindämmung eines Ausbruchs verglichen, wobei das Ziel darin besteht, die durchschnittliche Anzahl neuer Infektionen, die durch jedes Gerät verursacht werden, unter eins zu halten. Internetanbieter können ungewöhnlich große Modellübertragungen oder anhaltende Kommunikation zwischen Geräten markieren, während Honeypots verwendet werden können, um den Code eines Wurms abzufangen.

Der Bericht zitiert das Verbot standardmäßiger Passwörter für Smart-Geräte in Großbritannien als gute Möglichkeit, die Anzahl der für Angreifer verfügbaren anfälligen Geräte zu reduzieren.

Anthropic erklärte zudem, dass bisher noch kein funktionsfähiger bösartiger Replikator beobachtet wurde, und bezeichnete die aktuellen Beweise lediglich als „Lebenszeichen“. Das Unternehmen veröffentlichte die Forschungsergebnisse zusammen mit der Behauptung, dass neue Schutzmaßnahmen die Distillation um 90 bis 99 % reduziert hätten.