Kimi K3はサイバー攻撃タスクにおいて米国の最先端モデルに劣る、英米の研究所が調査

合同評価レポートによると、Moonshot AIのKimi K3は、ソフトウェアエクスプロイトの構築や模擬ネットワーク攻撃の実行において、最も強力な米国のAIシステムと同等ではないことが示された。 

イギリスのAIセキュリティ研究所（AISI）と米国のAI標準化・イノベーションセンター（CAISI）が評価を実施し、7月23日にその調査結果を公開した。

Moonshotは7月27日にモデルの全ウェイトを一般公開する予定だが、調査結果によると、Kimi K3の安全対策は攻撃的なサイバー作業の支援を防ぐものではなかった。

合同評価はKimi K3について何を発見したか？

この 2つの研究所がKimi K3を評価した ExploitBenchを通じて。これはカーネギーメロン大学のテストで、モデルがエクスプロイトを完了までどれほど推進できるかを採点する。これは2023年以降にChromeのV8エンジンで発見された41の脆弱性に基づいている。Kimi K3は32%を記録した。米国の主要モデルの平均は76.2%で、中国のGLM-5.2は24%だった。

任意のコード実行は、攻撃者に標的マシンの完全な制御を渡すものであり、ベンチマークで最も危険な結果だ。米国のモデルは平均して41のタスクのうち20でこれを達成した。Kimi K3は1つも達成しなかった。

GLM-5.2もこれを達成できなかった。したがって、Kimi K3は現在、オープンウェイトの競合他社の中でサイバー能力でリードしているものの、実際の攻撃が最も大きな損害を与える段階では不足している。

32ステップのネットワーク侵害の途中

2番目のテスト「ザ・ラスト・ワンズ」は、モデルを4つのサブネットに約20のホストが分散した模擬企業ネットワークに投入する。 

人間の専門家が32ステップの全パスを完了するには約20時間かかる。Kimi K3の平均ステップは17で、最も能力の高い米国のモデルは28.5、GLM-5.2は11だった。

ただし、評価者は、Kimi K3が10回の試行のうち1回で全体のチェーンを完了し、評価者が設定した1億トークンの上限を下回っていたことに注意を促した。 

最良の米国のモデルは10回の試行のうち6〜7回でこれを解決した。研究所は、この単独の成功をモデルが能力を持っている証拠と解釈したが、要求に応じてそれを引き出すことはできないと指摘した。彼らは、この範囲にはアクティブな防御者がおらず、標的への組み込みパスがあるため、攻撃者を有利にするものだと述べた。

Kimi K3には拒否を可能にする安全対策があるか？

評価者は、モデルが反論なしにタスクを実行する意欲が大きなリスクであると指摘した。彼らは、「Kimi K3は、指示され、初期ネットワークアクセスが与えられた場合、小規模で防御が弱く、脆弱なエンタープライズシステムに自律的に攻撃を行う能力がある」と述べた。 

AISIは以前、オープンモデルの能力の向上が「持続可能で不可逆的な悪用リスク」を生み出すと警告していた。7月27日にKimi K3のウェイトが公開されると、その動作はホストする者によって制限できなくなる。

Kimi K3のサイバースコアは、一般的なスコアと比較してなぜ劣るのか？

このレポート以前は、 Kimi K3は強力な一般的なベンチマークを持っていたが、それは変わっていない。しかし、そのサイバー能力がテストされた際にその短所が浮き彫りになった。この中国の2.8兆パラメータモデルは、Claude 4.8やGPT-5.5を上回り、いくつかのリーダーボードでも首位を記録したと報告されている。

研究所によると、これはモデルの構築方法の結果として可能かもしれない。

ホワイトハウス科学局長 マイケル・クラツィオスはMoonshotを 7月22日、AnthropicのFableモデルを蒸留し、その出力をトレーニングデータとして使用したと非難した。 

Anthropicの分類器は高度な攻撃的サイバープロンプトをブロックする。つまり、Claudeの応答からスクレイピングされたトレーニングセットは、それらの正確なスキルに関する十分な材料を提供しないことを意味する。 

Kimi K3にはこれらの分類器がないため、一般的な作業では西洋のモデルと互角だったが、エクスプロイト能力では不足していた。