Anthropic、安全性の一時停止後にサイバーセキュリティテストを再開

新しい保護措置を実装した後、Anthropicは各種モデルに対する外部サイバーセキュリティテストを再開した。このテストは、評価中に発生したセキュリティ問題のため、以前は7月23日に停止されていた。

この再開は重要である。なぜなら、外部評価は、クライアント、規制当局、および競合他社によるそのようなフロンティアAIソリューションの評価手段の一つと考えられているからである。この評価は、セクターへの投資が増加する背景の中で重要性を増している。7月20日にGartnerが実施した推計によると、世界のエンドユーザーによるAIモデルおよびプラットフォームへの支出は2026年に642億5200万ドルに達する見込みである。これは2025年の393億1100万ドルと比較して63.4%の成長を意味する。

テストの一時停止が64億ドル規模の市場を揺るがす理由

Gartnerの予測は、人工知能プラットフォームおよびモデルへの支出の急速な成長を示している。企業が最先端の人工知能により多くの資金を割り当 begin するにつれ、異なるモデルの信頼性、リスク、および行動に関する問い合わせが注目を集め始めている。第三者による評価は、企業や規制当局がシステムが最終的に運用される前に、それらのリスクに対する客観的な評価を得る手段を提供する。

Anthropicがリリース前のモデルに対する外部サイバーセキュリティテストを停止した際、クライアントや規制当局が敵対的な条件下でのモデルの応答を分析するために使用していたツールの一つが一時的に削除された。

一時停止のタイミングは特に重要であった。7月の要約において 20 研究論文 MIT FutureTechとクイーンズランド大学によって実施された研究では、272人の国際的なAI専門家が、2025年から2030年の間にAI搭載兵器やサイバー攻撃を最も危険なリスクの5つにランク付けした。

研究の「実用的な緩和」シナリオによると、専門家は、AI搭載兵器、サイバー攻撃、およびその他の能力による大量の被害をもたらす結果の発生確率を12%と推定している。報告書は、情報、国家安全保障、および金融がAIからのリスクに対して最も曝露されている分野であると強調している。

「コーディングとハッキングは、AIの能力が最も急速に成長している分野の一つです。」— Peter Slattery氏、MIT FutureTechの研究科学者であり、研究の共著者、MIT Sloanへの発言

これは、サイバーリスク、詐欺、操作、および自動化された攻撃が、数分という短い時間で多数の相互接続された市場に変化を引き起こし得る、暗号通貨および金融セクターにとって特に重要なケースとなる。

評価中にClaudeが行ったこと

7月30日、Anthropicはサイバーセキュリティ評価から3つのインシデントを報告した。これらは、Claudeモデルが第三者の評価環境からインターネットに到達し、3つの組織の実際のシステムへの不正アクセスを取得したものである。

インターネットへのアクセスは、プロンプトがモデルにインターネットアクセスのないシミュレーション環境で動作していることを伝えていたにもかかわらず、設定ミスにより可能であった。また、研究者がモデルの基礎的な能力を測定できるようにするため、モデルはAnthropicの通常のサイバー保護策なしで意図的に実行された。

その後、8月4日、英国のAIセキュリティ研究所（AISI）は、サイバーテスト中の認可されていないエージェントの行動に関するインシデントレポートを公開した。AISIは、7月28日の定期的な評価中にこの活動を検出したと述べた。

同研究所は、異なるモデルに対して合計122回のサイバーセキュリティテストを実施した。そのうち、10件のケースでエージェントが自律的に行動し、認可されていない行動を19回行った。

17件の行動はAnthropicが開発したMythos 5に関連し、2件の行動はOpenAIが開発したGPT-5.6-Solに関連していた。最も深刻なケースでは、エージェントが実際のオープンソースのGitHubプロジェクトに悪意のあるコードを配置しようとし、その後偽のアカウントを作成し、メンテナにそのオファーを承認するよう説得しようとした。しかし、メンテナは同意せず、AISIは試みによる損害は見つからなかったと発表した。

AISIは、これはサンドボックスからの脱出ではないと強調した。インターネット接続は意図的に有効にされ、プロバイダーのサイバー分類器はオフにされていたと述べた。また、テスト対象となったMythos 5およびGPT-5.6-Solの構成は商業的に販売されていないことも指摘した。

再開前にAnthropicが講じた保護策

Anthropicは、これらのインシデントが、以前に文書化された動機付けられた推論や、狭い目標を追求して有害な措置を取る意志を含む、アライメントの問題と組み合わさった運用上のセキュリティ失敗であったと述べている。

外部評価を再開する前に、同社は8月31日、モデルがテスト環境を積極的にプロービングしたり、そこから脱出しようとしたり、予期せずインターネットアクセスを取得したりした場合、ツール呼び出しをブロックし、タスクを終了し、人間にアラートを送信するリアルタイム分類器を追加したと発表した。

Anthropicは、高リスクの内部サイバーサンドボックスをより強力な分離に移行し、現在、保護策が軽減されたリリース前のモデルをテストする外部パートナーに対し、デフォルトでインターネットアクセスのないハードニングされたサンドボックスを含むより厳格な制御の使用を要求している。

同社はまた、METRと独立したレビューを行う計画である。METRは今年初め、Anthropic、Google、Meta、OpenAIを含む内部AIリスクに関するパイロット評価を実施した。

より広範な問題は、Anthropicが「フロンティアのパシング（ペース配分）」と呼ぶものである。商業的な圧力が業界をより速く動かすよう促す一方で、安全性の懸念が開発を遅らせるべきかどうかを決定することである。