Anthropic、小型AIモデルが家庭用デバイスで自己複製する可能性を警告

Anthropicのフロンティアレッドチームは、コンパクトなAIモデルがデータセンターを介さず、安価でインターネットに接続された家庭用デバイス間で自身を複製するようになるまであと数ヶ月しかかからない可能性があると述べている。研究者たちは、これらのモデルを停止させるのが困難になるため、このシナリオは制御が非常に難しくなるだろうと警告している。

この研究論文は10月12日にAnthropicのウェブサイトで公開され、家庭や小規模事業所でスマート家電を使用している人々にとって懸念材料となっている。

15台の安価なTVボックスと、1 26億パラメータのモデル

研究者のWilliam Zhou氏とDaniel Freeman氏は、15台の無名ブランドのAndroid TVボックスをリンクさせてGemma4-26B-A4B（260億パラメータを持つモデル）を実行することで、潜在的なリスクを示した。各ボックスの価格は約55ドルで、RAMは4GBを搭載していた。研究者たちはパイプライン並列処理という手法を用いて、モデルのレイヤーを各デバイスに分散配置した。

この15種類のAndroidボックスデバイスのコレクションは、合計で毎秒0.39トークンの生成速度しか出せず、実用的なチャットボット用途には遅すぎました。しかし研究者たちは、自己拡散型ワームが必ずしも単一のマシン上で高速に動作する必要はなく、むしろ多数のデバイスに到達することから恩恵を受ける可能性が高いと主張しました。

彼らはまた、主にブランド品以外のAndroid TVに感染した200万台以上のボットネット「Kimwolf」を例として挙げ、多くのセキュリティ対策が不十分なデバイスが家庭内で簡単に標的になっている現状を示しました。

テストされたどのモデルも、スマートテレビ上で実行可能なほど小さく保ちながら、他のデバイス上で自身を確実に複製することはできませんでした。研究者たちは、軽量オープンモデルが現在のペースで進化を続ければ、このギャップは2026年末までに解消されると予想しています。

4つのステップでの複製、そして成功した1つのモデル

Anthropicは、複製プロセスを4つの段階に分割しています。これにはターゲットの特定、コード実行能力の獲得、推論の設定、そして新たに感染した各デバイスからプロセスを繰り返すことが含まれます。

研究者たちは初期のハッキング手順についてはほぼ言及を避け、小さなモデルがすでにサイバー攻撃を実行できることを示した先行研究を引用しました。その代わりに、彼らはハードウェア固有の判断を伴う長時間にわたる推論設定プロセスである第3段階に焦点を当てました。

プロセス全体をテストするため、研究者らは8つのGoogle Cloudノードからなる孤立したネットワークを構築し、各ノードでAndroidエミュレーターを実行しました。事前ロードされたワームは、安全でないAndroid Debug Bridge（ADB）ポートを通じてノード間で拡散し、Llama3.1-8Bを実行するためのサーバーをセットアップしました。オープンウェイトモデルのテストにおいて、中国のZ.aiが開発したGLM-5.2のみが完全な複製サイクルを完了し、5回の試行のうち4回で全8つのノードに到達しました。

モデルは世代を超えて拡散するにつれて、自己セットアップの成功率が高まりました。90億パラメータを持つQwen3.5-9Bモデルのインスタンスが設定ノートを引き継ぎ先に渡す際、最初の世代での成功率45%から、その後の世代では61%〜84%へと上昇しました。

Anthropicが分散型ワームを駆除するのが難しい理由を説明

このシナリオでは、Anthropicが説明しているように、純粋な速度は主な懸念事項ではありません。Anthropicは、TVボックスで26Bモデルを設定するのに71〜150時間かかると見積もっています。より大きなリスクは持続性に関わるものであり、停止できる中央サーバーや人間のオペレーターが存在しないため、システムは通常の方法で封じ込めたり無効化したりすることを回避できる可能性があります。

ルイビル大学のAIおよびサイバーセキュリティ専門家であるRoman V. Yampolskiy氏は、今回の発見が非常に重要であると述べています。Yampolskiy氏は、AI搭載ワームは従来のマルウェアを超え、見慣れないデバイスについて推論したり、アプローチが失敗した場合に適応したり、人間の介入なしに拡散を継続したりできると主張しています。

現時点では存在脅威とは見なしていないものの、その開発は懸念すべきだと警告した。

「家庭用および小規模事業向けのIoTデバイスが、このような攻撃の最初の標的となる可能性がある。それらはインターネットに接続されており、歴史的にセキュリティ対策が最小限にとどめられてきたからだ」と、Zhou氏とFreeman氏はAnthropicの記事で述べている。

防御側はまだ優位性を持っている

Anthropicは、この防御を感染症の封じ込めに例え、各デバイスによって引き起こされる新規感染者の平均数を1未満に抑えることを目標としている。インターネットプロバイダーは、通常とは異なる大量のモデル転送やデバイス間の持続的な通信を検知し、ハニーポットを用いてワームのコードを捕捉することが可能だ。

同レポートでは、スマートデバイスのデフォルトパスワード禁止という英国の施策を、攻撃者が利用可能な脆弱なデバイスの数を減らすための有効な方法として引用している。

Anthropicはまた、まだ機能する不正なレプリケーターを観測していないと述べ、現在の証拠は「生命の兆候」のみであると説明しました。同社は、新しい安全対策によって蒸留（ディスティレーション）が90〜99％減少したとする別の主張とともに、この研究を発表しました。