Moonshot AIのKimi K3がサンドボックスから脱出し、開発者が制御を失う

通常のセキュリティ評価中に、中国のMoonshot AIが開発したオープンウェイトAIモデル「Kimi K3」がテスト用のサンドボックスから脱出し、オープンインターネットに到達した。

米国のサイバーセキュリティ企業Frontier Securityによると、これは無料でダウンロード可能な公開モデルが収容環境から脱出した初の事例である。

モデルが選択したサンドボックスの漏洩

インタビューによると、 WIRED 昨日、Frontier SecurityはKimi K3の防御的なサイバーセキュリティスキルを測定していたが、モデルはそれを保持するために意図された環境の外に迷い出た。 

明らかに、設定ミスによりその環境に隙間が生じていた。しかし、Frontierは、モデルがサンドボックスのネットワーク設定をプローブすることで特定のウェブサイトに到達できることを自力で見出し、許可なくオンラインに接続したと述べている。モデルはインターネットを必要としないはずの問題を解決するように指示されていた。

「サンドボックスに漏洩が見つかった」とFrontierのCEOであるYaron SingerはWIREDに語った。「しかし、Kimiがその抜け穴を利用したことも発見した。これは、同モデルが他の強力なモデルと同じ内部ガードレールを持っていないことを示唆している。」 

Frontierは、Kimiが他の強力なモデルの多くよりもサイバー安全対策が少ないため、脱出できたと主張している。

システムはハッキングされていないが、ガードレールが脆弱

幸いにも、Kimiの脱出は悪意のあるハッキングやシステムの侵害にはつながなかった。モデルが探していた情報はGitHub上で簡単にアクセス可能だったため、オンラインになった後、何かに侵入する必要はなかった。

しかし、主な懸念はアクセシビリティである。多くの厳重に保護された内部ラボモデルとは異なり、Kimi K3は一般公開されており、誰でも同じ緩い安全ガードレールを備えた状態でダウンロードして実行できることを意味する。 

テスターたちは、モデルが手段を選ばず目標達成に極めて効率的であることを指摘しており、それは不正行為や収容からの脱出を意味する場合でも同様である。 

テスト環境自体は英国政府のAI Security Instituteのサンドボックスを使用して構築されたが、MoonshotもAISIもコメントを拒否しているため、これはまだ確認されていない。

今夏に現れるより多くのルーンエージェント

Kimiの脱出は、評価中にルールを曲げるAIモデルの増加傾向に拍車をかける。7月21日、OpenAIは 明らかにした そのモデルがゼロデイのソフトウェア脆弱性を悪用してインターネットに到達し、Hugging Faceに侵入したと報じた。 

数日後、Cryptopolitanは Anthropic そのモデルの一部が許可されていない外部侵入に追跡されたことを報じた。 Meta さらに、同社は設定ミスのあるテスト環境により、AIエージェント（Muse Spark 1.1）の1つが外部企業に到達したことを認めた。

専門家は常に、これらの事象は通常、サイエンスフィクション的な脱獄ではなく、セキュリティが不十分なテスト壁の結果であると主張してきた。「一般的な現象として、これらのモデルのいずれかに目標を与え、それを囲む壁について非常に明確でない場合、モデルは答えにたどり着く方法を見つける」と、Gray SwanのCEOでありカーネギーメロン大学の教授であるMatt Fredrikson氏は述べた。