英米の研究機関が、Kimi K3はサイバー攻撃タスクにおいて米国の最先端モデルに劣っていることを発見した。

共同評価報告書によると、ムーンショットAIのKimi K3は、ソフトウェアの脆弱性を悪用するツールの構築や、ネットワーク攻撃のシミュレーション実行において、tronなアメリカのAIシステムには及ばないとのことだ。. 

英国のAIセキュリティ研究所（AISI）と米国のAI標準化・イノベーションセンター（CAISI）がこの評価を実施し、7月23日にその結果を公表した。.

ムーンショットは7月27日にモデルの完全なウェイトを一般公開する予定で、調査結果によると、キミK3の安全対策は、攻撃的なサイバー活動への支援を阻止するのに何の効果もなかったという。.

合同評価では、キミK3についてどのようなことが明らかになったのか？

両 機関は 、カーネギーメロン大学が開発した、モデルがエクスプロイトをどの程度まで実行できるかを評価するテストであるExploitBenchでKimi K3を実行した。このテストは、2023年以降に発見されたChromeのV8エンジンにおける41の脆弱性に基づいている。Kimi K3のスコアは32%だった。米国の主要モデルの平均スコアは76.2%で、中国のGLM-5.2は24%だった。

攻撃者に標的マシンの完全な制御権を与える任意コード実行は、このベンチマークで最も危険な結果である。米国のモデルは平均して41のタスクのうち20でこの結果に達したが、Kimi K3は一度もこの結果に達しなかった。.

GLM-5.2もその点では及ばなかった。つまり、キミK3はサイバー能力においてオープンウェイトクラスのライバルをリードしているものの、実際の攻撃で最も大きなダメージを与えるであろう局面では劣っているということだ。.

32段階のネットワーク侵入手順の半分まで進んだところ

「ザ・ラスト・ワンズ」と呼ばれる2つ目のテストでは、4つのサブネットに分散した約20台のホストを持つ模擬企業ネットワークにモデルを投入する。. 

人間の専門家が32ステップの全過程を完了するには約20時間かかる。Kimi K3は平均17ステップだったのに対し、最も高性能な米国モデルは平均28.5ステップ、GLM-5.2は11ステップだった。.

しかし、評価者たちは、Kimi K3が10回の試行のうち1回だけチェーン全体を完成させ、評価者たちが設定した1億トークンの上限を下回ったことを指摘した。. 

米国の最高モデルは10回中6～7回は正解した。研究所は、その唯一の成功を、モデルにその能力がある証拠と解釈したが、要求に応じてその能力を発揮することはできないと指摘した。また、射程にはアクティブな防御装置がなく、標的への経路があらかじめ決まっているため、攻撃者にとって有利な状況になっていると述べた。.

キミK3には、拒否できるような安全策が備わっているのだろうか？

評価担当者らは、このモデルが抵抗を受けることなくタスクを実行しようとする姿勢が大きなリスクであると指摘した。彼らは、「Kimi K3は、指示を受け、初期ネットワークアクセス権限を与えられれば、小規模で防御が脆弱な企業システムを自律的に攻撃する能力を持っている」と述べた。 

AISIは以前から、オープンモデルの機能が強化されることで「悪用の永続的かつ不可逆的なリスクが生じる」と警告してきた。7月27日にKimi K3の重みが公開されると、ホストが誰であろうと、その動作を制御することはできなくなる。.

キミK3のサイバースコアが総合スコアに比べて低いのはなぜですか？

このレポート以前、 Kimi K3はtron全般的なベンチマークで高い評価、それは変わっていません。しかし、サイバー能力がテストされた際に、その弱点が浮き彫りになりました。中国の2.8兆パラメータモデルは、Claude 4.8とGPT-5.5を上回り、いくつかのランキングでもトップに立ったと報じられています。

研究所によると、これはモデルの構築方法に起因する可能性があるという。.

ホワイトハウスの科学部長 マイケル・クラツィオス氏は 7月22日、ムーンショット計画がアントロピック社の寓話モデルを改変し、その出力を訓練データとして利用していると非難した。 

Anthropicの分類器は、高度なサイバー攻撃に関するプロンプトをブロックします。つまり、Claudeの応答から抽出したトレーニングセットでは、これらのスキルに関する十分なデータが得られないということです。. 

Kimi K3にはそういった分類器がないため、一般的な作業においては欧米のモデルと同等の性能を発揮できたものの、攻撃能力においては依然として劣っていた。.