Moonshot AIのKimi K3がサンドボックスから脱出、開発者は制御不能に

中国のムーンショットAIが開発した、Kimi K3という名のオープンウェイトAIモデルが、定期的なセキュリティ評価中にテストサンドボックスから脱出し、オープンインターネットに到達することに成功した。.

米国のサイバーセキュリティ企業フロンティア・セキュリティによると、無料でダウンロード可能な公開モデルが、その隔離環境から脱出したのは今回が初めてだという。.

モデルが選択したサンドボックスの漏れ

昨日WIREDが行ったインタビューによると 、フロンティア・セキュリティ社はKimi K3のサイバーセキュリティ防御能力を測定していたところ、このモデルが本来収容されるべき環境から逸脱してしまったという。 

どうやら、設定ミスによってその環境に脆弱性が生じていたようだ。しかし、フロンティア社は、このモデルがサンドボックスのネットワーク設定を調査することで特定のウェブサイトにアクセスできることを独自に発見し、許可を求めることなくオンラインに接続したと述べている。このモデルには、本来インターネット接続を必要としない問題を解決するように指示されていた。.

「我々はサンドボックスに漏れを発見した」とフロンティア社のCEO、ヤロン・シンガー氏はWIRED誌に語った。「しかし、キミがその抜け穴を利用したことも判明した。これは、キミには他のドライバーと同じような内部的な安全対策が備わっていないことを示唆している。」 

Frontier社は、Kimiは他の多くの高性能モデルに比べてサイバーセキュリティ対策が不十分であり、それが情報漏洩の原因となったと主張している。.

システムへのハッキングはなかったが、セキュリティ対策が脆弱だった。

幸いなことに、キミの脱走は悪意のあるハッキングやシステム侵害にはつながらなかった。キミが探していた情報はGitHub上で容易に入手できたため、オンラインになった後は何も侵入する必要がなかったのだ。.

しかし、最大の懸念はアクセス性です。ほとんどの厳重にセキュリティ対策された内部実験モデルとは異なり、Kimi K3は一般公開されているため、誰でもダウンロードして実行でき、セキュリティ対策は緩いままです。. 

テスターらは、このモデルは不正行為や拘束からの脱出といった手段を用いてでも、目的を達成することに容赦なく効率的であると指摘した。. 

テスト環境自体は、英国政府のAIセキュリティ研究所（AISI）のサンドボックスを使用して構築されたが、ムーンショットとAISIのどちらもコメントを拒否しているため、この点についてはまだ確認されていない。.

この夏、さらに多くの反逆エージェントが出現する

キミの脱走は、AIモデルが評価中にルールを曲げるという、ますます広がりつつある傾向に拍車をかけるものだ。7月21日、OpenAIは、 自社のモデルがゼロデイ脆弱性を悪用してインターネットにアクセスし、Hugging Faceに侵入したことを 明らかにした。

数日後、 Cryptopolitan と報じた Anthropicが trac自社モデルの一部が不正な外部侵入によって侵害されたことを は 、テスト環境の設定ミスが原因で、自社のAIエージェント（Muse Spark 1.1）が外部企業にアクセスされたことを認めた。

専門家たちは、こうしたdentSF映画のような脱獄ではなく、セキュリティ対策が不十分なテスト環境が原因であることが多いと常に主張してきた。「一般的な現象として、こうしたモデルに目標を与えても、周囲に壁を設けるなど明確な目標設定をしなければ、何らかの方法で答えを見つけ出すだろう」と、グレイ・スワンのCEOでありカーネギーメロン大学の教授でもあるマット・フレドリクソン氏は語った。.