Kimi K3 bei Cyberangriffen hinter US-Frontier-Modellen, britisch-US-Labore finden
- Eine gemeinsame britisch-amerikanische Bewertung ergab, dass Moonshot AIs Kimi K3 bei offensiven Cyberfähigkeiten deutlich hinter den führenden US-Modellen zurückliegt.
- Kimi K3 erreichte bei keiner der 41 Testaufgaben eine beliebige Codeausführung, das gefährlichste Ergebnis.
- Moonshot plant, die vollständigen Gewichte von Kimi K3 am 27. Juli zu veröffentlichen, was bedeutet, dass seine Fähigkeiten nach der Veröffentlichung nicht mehr durch einen einzelnen Host eingeschränkt werden können.
Ein gemeinsamer Evaluierungsbericht hat ergeben, dass Moonshot AIs Kimi K3 bei der Erstellung von Software-Exploits und dem Durchführen simulierter Netzwerkangriffe nicht mit den stärksten amerikanischen KI-Systemen mithalten kann.
Die britische AI Security Institute (AISI) und das US Center of AI Standards and Innovation (CAISI) führten die Bewertung durch und machten ihre Ergebnisse am 23. Juli öffentlich.
Moonshot wird voraussichtlich am 27. Juli die vollständigen Gewichte des Modells der Öffentlichkeit zugänglich machen, und die Ergebnisse besagen, dass Kimi K3s Schutzmaßnahmen nichts dazu beitrugen, es von der Unterstützung bei offensiven Cyber-Arbeiten abzuhalten.
Was hat die gemeinsame Bewertung über Kimi K3 ergeben?
Die zwei Institute haben Kimi K3 bewertet durch ExploitBench, einen Test der Carnegie Mellon University, der bewertet, wie weit ein Modell einen Exploit bis zur Fertigstellung treiben kann. Er basiert auf 41 Schwachstellen, die nach 2023 in Chromes V8-Engine gefunden wurden. Kimi K3 erzielte 32 %. Die führenden Modelle aus den USA lagen im Durchschnitt bei 76,2 %, und Chinas GLM-5.2 landete bei 24 %.
Die Ausführung beliebigen Codes, die einem Angreifer die volle Kontrolle über eine Zielmaschine gibt, ist das gefährlichste Ergebnis des Benchmarks. US-Modelle erreichten dies im Durchschnitt bei 20 der 41 Aufgaben. Kimi K3 erreichte dies bei keiner einzigen.
GLM-5.2 scheiterte ebenfalls daran. Während Kimi K3 bei der Cyber-Fähigkeit nun die offenen Gewichte führenden Konkurrenten anführt, schneidet es an dem Punkt ab, an dem ein echter Angriff den größten Schaden anrichten würde, schlechter ab.
Auf halbem Weg einer 32-Schritte umfassenden Netzwerkverletzung
Der zweite Test, genannt „The Last Ones“, versetzt ein Modell in ein simuliertes Unternehmensnetzwerk mit etwa 20 Hosts, die auf vier Subnetze verteilt sind.
Ein menschlicher Spezialist würde etwa 20 Stunden benötigen, um den gesamten 32-Schritte-Pfad zu bewältigen. Kimi K3 durchschnittlich Schritt 17, während die fähigsten US-Modelle im Durchschnitt 28,5 erreichten und GLM-5.2 11 schaffte.
Die Evaluatoren bemerkten jedoch, dass Kimi K3 die gesamte Kette einmal von zehn Versuchen abgeschlossen hat und unter der von den Evaluatoren festgelegten Grenze von 100 Millionen Token blieb.
Die besten US-Modelle lösten dies sechs- oder siebenmal von zehn Versuchen. Die Institute deuteten diesen einzelnen Erfolg als Beweis dafür, dass das Modell die Fähigkeit besitzt; es kann sie jedoch nicht auf Abruf abrufen. Sie bemerkten, dass die Reichweite keine aktiven Verteidiger und einen eingebauten Pfad zum Ziel hat, was jeden Angreifer schmeichelt.
Hat Kimi K3 Schutzmaßnahmen, die es ermöglichen, Nein zu sagen?
Die Evaluatoren wiesen darauf hin, dass die Bereitschaft des Modells, Aufgaben ohne Widerstand durchzuführen, ein großes Risiko darstellt. Sie stellten fest: „Kimi K3 ist in der Lage, kleine, schwach verteidigte und anfällige Unternehmenssysteme autonom anzugreifen, wenn dazu aufgefordert und mit erstem Netzwerkzugang versehen.“
AISI hat zuvor gewarnt, dass steigende Fähigkeiten offener Modelle „ein anhaltendes und irreversibles Risiko des Missbrauchs“ schaffen. Sobald Kimi K3s Gewichte am 27. Juli öffentlich sind, kann sein Verhalten nicht mehr von demjenigen kontrolliert werden, der es hostet.
Warum liegen Kimi K3s Cyber-Werte im Vergleich zu seinen allgemeinen Werten zurück?
Vor diesem Bericht, hatte Kimi K3 starke allgemeine Benchmarks, und das hat sich nicht geändert; jedoch wurden seine Mängel hervorgehoben, als seine Cyber-Fähigkeiten getestet wurden. Das chinesische Modell mit 2,8 Billionen Parametern schlug angeblich Claude 4.8 und GPT-5.5 und führte auch einige Leaderboards an.
Nach Ansicht der Institute könnte dies darauf zurückzuführen sein, wie das Modell möglicherweise aufgebaut wurde.
Der Direktor für Wissenschaft im Weißen Haus Michael Kratsios beschuldigte Moonshot am 22. Juli, Anthropics Fable-Modell distilliert zu haben, indem es dessen Ausgaben als Trainingsdaten verwendet.
Anthropics Klassifikatoren blockieren fortgeschrittene offensive Cyber-Prompts. Das bedeutet, dass ein Trainingsdatensatz, der von Claude-Antworten abgerufen wurde, nicht genügend Material für genau diese Fähigkeiten bieten würde.
Kimi K3 verfügt nicht über diese Klassifikatoren, und dies ermöglichte es ihm, bei allgemeinen Aufgaben westliche Modelle zu erreichen, während es bei der Exploit-Fähigkeit zurückblieb.
Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.
Häufig gestellte Fragen
Wie schnitt Kimi K3 im Vergleich zu US-Modellen bei der Exploit-Entwicklung ab?
Beim ExploitBench-Test erzielte Kimi K3 32 %, während die führenden US-Modelle durchschnittlich 76,2 % erreichten; es gelang ihm, bei keiner der 41 Aufgaben eine beliebige Codeausführung zu erreichen, im Gegensatz zu 20 von 41 für die Top-US-Modelle.
Hat Kimi K3 die Unterstützung bei Cyberangriffen verweigert?
Nein. Die britischen Evaluatoren von AISI und CAISI berichteten, dass die Schutzmaßnahmen von Kimi K3 nicht verhinderten, dass es versuchte, Exploits zu entwickeln oder offensive Cyberoperationen durchzuführen, wenn dazu aufgefordert.
Warum könnte Kimi K3 bei allgemeinen Aufgaben stark, aber bei Cyber-Fähigkeiten schwach sein?
Die Institute vermuten, dass Moonshot Kimi K3 möglicherweise mit Claude-Ausgaben trainiert hat, wie US-Behörden behaupten; da Anthropics Klassifikatoren fortgeschrittene offensive Cyber-Anfragen blockieren, wären diese Fähigkeiten in den Trainingsdaten unterrepräsentiert.
Hannah Collymore
Hannah ist Autorin und Redakteurin mit fast einem Jahrzehnt Erfahrung im Bloggen und in der Berichterstattung über Events im Krypto-Bereich. Bei Cryptopolitan arbeitet sie an der News-Seite und berichtet sowie analysiert die neuesten Entwicklungen in den Bereichen DeFi, RWA, Krypto-Regulierung, KI und Zukunftstechnologien. Sie hat ihr Studium an der Arcadia University mit einem Abschluss in Betriebswirtschaft abgeschlossen.
