Kimi K3 hinkt US-amerikanischen Spitzenmodellen bei Cyberangriffsaufgaben hinterher, so ein Ergebnis britisch-amerikanischer Labore
- Eine gemeinsame britisch-amerikanische Evaluierung ergab, dass die Kimi K3 von Moonshot AI hinsichtlich offensiver Cyberfähigkeiten deutlich hinter den führenden US-Modellen zurückbleibt.
- Kimi K3 erreichte bei keiner der 41 Testaufgaben die Ausführung beliebigen Codes, das gefährlichste Ergebnis.
- Moonshot plant, die vollständigen Gewichtungen von Kimi K3 am 27. Juli als Open Source zu veröffentlichen, was bedeutet, dass nach der Veröffentlichung die Fähigkeiten des Projekts nicht mehr durch einen einzelnen Host eingeschränkt werden können.
In einem gemeinsamen Evaluierungsbericht wurde festgestellt, dass Kimi K3 von Moonshot AI im Vergleich zu dentronamerikanischen KI-Systemen bei der Entwicklung von Software-Exploits und der Durchführung simulierter Netzwerkangriffe nicht mithalten kann.
Die Evaluierung wurde vom britischen AI Security Institute (AISI) und dem US-amerikanischen Center of AI Standards and Innovation (CAISI) durchgeführt; die Ergebnisse wurden am 23. Juli veröffentlicht.
Moonshot wird voraussichtlich am 27. Juli die vollständigen Gewichte des Modells veröffentlichen. Die Ergebnisse zeigen, dass die Sicherheitsvorkehrungen von Kimi K3 nichts daran hinderten, bei offensiven Cyberangriffen zu helfen.
Was ergab die gemeinsame Auswertung über Kimi K3?
Die beiden Institute unterzogen Kimi K3 dem ExploitBench-Test der Carnegie Mellon University, der bewertet, wie weit ein Modell einen Exploit ausnutzen kann. Er basiert auf 41 Schwachstellen, die nach 2023 in der V8-Engine von Chrome entdeckt wurden. Kimi K3 erreichte 32 %. Die führenden Modelle aus den USA erzielten im Durchschnitt 76,2 %, und das chinesische Modell GLM-5.2 kam auf 24 %.
Die Ausführung beliebigen Codes, die einem Angreifer die vollständige Kontrolle über einen Zielrechner ermöglicht, ist das gefährlichste Ergebnis des Benchmarks. US-Modelle erreichten dieses Ergebnis im Durchschnitt bei 20 von 41 Aufgaben. Kimi K3 erreichte es bei keiner einzigen Aufgabe.
Auch GLM-5.2 erreichte dieses Ziel nicht. Obwohl Kimi K3 in puncto Cyberfähigkeiten nun die Konkurrenz im offenen Gewichtssegment anführt, versagt es genau dort, wo ein realer Angriff den größten Schaden anrichten würde.
Mitten in einem 32-stufigen Netzwerkangriff
Der zweite Test, genannt „The Last Ones“, setzt ein Modell in ein simuliertes Unternehmensnetzwerk mit etwa 20 Hosts ein, die auf vier Subnetze verteilt sind.
Ein menschlicher Spezialist bräuchte etwa 20 Stunden, um den kompletten 32-stufigen Pfad zu durchlaufen. Kimi K3 erreichte im Durchschnitt Stufe 17, die leistungsstärksten US-Modelle 28,5 und GLM-5.2 Stufe 11.
Die Gutachter stellten jedoch fest, dass Kimi K3 die gesamte Kette einmal in zehn Versuchen abschloss und dabei unter der von den Gutachtern festgelegten Obergrenze von 100 Millionen Token blieb.
Die besten US-Modelle lösten die Aufgabe in sechs oder sieben von zehn Fällen. Die Institute werteten diesen einzelnen Erfolg als Beweis für die grundsätzliche Fähigkeit des Modells; allerdings kann es diese nicht auf Abruf abrufen. Sie stellten fest, dass der Übungsplatz keine aktiven Verteidiger und einen vorgezeichneten Weg zum Ziel aufweist und somit jedem Angreifer Vorteile bietet.
Verfügt Kimi K3 über Sicherheitsvorkehrungen, die es ermöglichen, „Nein“ zu sagen?
Die Gutachter wiesen darauf hin, dass die Bereitschaft des Modells, Aufgaben ohne Widerstand auszuführen, ein erhebliches Risiko darstellte. Sie erklärten: „Kimi K3 ist in der Lage, kleine, schwach verteidigte und anfällige Unternehmenssysteme autonom anzugreifen, wenn es dazu angewiesen wird und ihm anfänglicher Netzwerkzugriff gewährt wird.“
AISI hat bereits zuvor gewarnt, dass die zunehmende Offenheit von Computermodellen ein „anhaltendes und unumkehrbares Missbrauchsrisiko“ birgt. Sobald die Gewichte von Kimi K3 am 27. Juli öffentlich zugänglich sind, kann das Verhalten des Systems nicht mehr von demjenigen eingeschränkt werden, der es hostet.
Warum schneidet Kimi K3 im Cyberbereich im Vergleich zu seinen allgemeinen Testergebnissen schlechter ab?
Vor diesem Bericht wies Kimi K3tronallgemeine Benchmark-Ergebnisse, und daran hat sich nichts geändert; allerdings traten seine Schwächen bei Tests seiner Cyberfähigkeiten deutlich zutage. Das chinesische Modell mit 2,8 Billionen Parametern übertraf Berichten zufolge Claude 4.8 und GPT-5.5 und führte auch einige Ranglisten an.
Laut den Instituten könnte dies an der Art und Weise liegen, wie das Modell konstruiert wurde.
Der Wissenschaftsdirektor des Weißen Hauses, Michael Kratsios, warf dem Moonshot-Projekt am 22. Juli vor, das Fable-Modell von Anthropic vereinfacht darzustellen und dessen Ergebnisse als Trainingsdaten zu verwenden.
Die Klassifikatoren von Anthropic blockieren fortgeschrittene offensive Cyber-Aufforderungen. Das bedeutet, dass ein aus Claudes Antworten extrahierter Trainingsdatensatz nicht genügend Material zu diesen spezifischen Fähigkeiten bieten würde.
Kimi K3 verfügt nicht über diese Klassifikatoren, wodurch es in der Lage war, mit westlichen Modellen bei allgemeinen Aufgaben mitzuhalten, während es in Bezug auf die Exploitationsfähigkeit noch Defizite aufwies.
Die klügsten Köpfe der Krypto-Szene lesen bereits unseren Newsletter. Möchten Sie auch dabei sein? Dann schließen Sie sich ihnen an.
Häufig gestellte Fragen
Wie schnitt Kimi K3 im Vergleich zu US-Modellen bei der Exploit-Entwicklung ab?
Im ExploitBench-Test erzielte Kimi K3 32 %, während die führenden US-Modelle im Durchschnitt 76,2 % erreichten. Bei keiner der 41 Aufgaben gelang die Ausführung beliebigen Codes, im Vergleich zu 20 von 41 bei den führenden US-Modellen.
Hat Kimi K3 die Hilfe bei Cyberangriffen verweigert?
Nein. Die Gutachter von AISI und CAISI in Großbritannien berichteten, dass die Sicherheitsvorkehrungen von Kimi K3 es nicht daran hinderten, auf Anweisung Exploits zu entwickeln oder offensive Cyberoperationen durchzuführen.
Warum könnte Kimi K3 bei allgemeinen Aufgabentron, aber im Cyberbereich schwach sein?
Die Institute weisen darauf hin, dass, falls Moonshot Kimi K3 anhand von Claude-Ausgaben trainiert hat, wie US-Beamte behaupten, die Klassifikatoren von Anthropic fortgeschrittene offensive Cyber-Abfragen blockieren, diese Fähigkeiten in den Trainingsdaten unterrepräsentiert wären.
Hannah Collymore
Hannah ist Autorin und Redakteurin mit fast zehn Jahren Erfahrung im Bloggen und der Eventberichterstattung im Kryptobereich. Bei Cryptopolitanschreibt sie für die Nachrichtenseite und berichtet und analysiert die neuesten Entwicklungen in den Bereichen DeFi, RWA, Kryptoregulierung, KI und Zukunftstechnologien. Sie hat an der Arcadia University Betriebswirtschaftslehre studiert.
