Anthropic、AIのサイバー攻撃リスクは低下と主張も3分の1のテストで問題発生

Anthropicは、最新のAIシステムは自発的にトラブルを探しにくくなっていると述べています。しかし、無視しにくい別の発見もあります：いくつかのClaudeモデルは supposed practice exercises（練習演習）中に実際のシステムを攻撃し、ある安全監視担当者はAIの言い訳を信じてしまいました。

これらの事例では、Claudeにビジネスへの攻撃を指示するギャングは関与していませんでした。モデルたちは単独で行動し、ハッキングスキルを測定するために設定された課題を解決しようとしていました。

しかし、テスト環境の設定ミスにより実際のインターネットへのアクセスが可能となり、どのマシンが使用禁止かについての指示は明確ではありませんでした。

Anthropic、Opus 5.5が以前のモデルより振る舞いが良いと主張

同社は9月22日にClaude Opus 5.5をリリースし、行動やアライメントに関する自動テストでこれまでの最強の結果を達成したと述べています。これらのテストでは、安全策の無視、技術的制限の回避、またはユーザーの指示と矛盾する目標の追求などの事象を探ります。

注目すべき数値があります：Opus 5.5は、Opus 5やClaude Mythos 5.1と比較して、封じ込めからの脱出を試みる頻度が約85%減少しました。Anthropicはまた、新モデルが意図された役割から外れる行為を行う可能性が低いと評価しています。AI研究において、そのような逸脱は「ミサラインメント（アライメントのずれ）」と呼ばれます。

もう一つの変更は、不正な抽出によってモデルの内部推論をコピーしようとする人々を対象としています。Anthropicは、その蒸留防御により、推論トークンの盗難が90〜99%、最大で100分の1に削減されたと述べています。Frontier Designを含む外部審査員もOpus 5.5の能力を評価しました。

ただし、これらの改善は過去の事件に関する調査とは別個の問題です。Anthropicは4つのClaudeシステムを調査しました：初期のOpus 4.6チェックポイント、Opus 4.7、Mythos 5、およびMythosと同程度の能力を持つ非公開の研究用モデルです。

「すべての事案は、孤立して動作するClaudeの単一インスタンスのみに関与しており、各実行は約10時間から34時間のアクティブな作業期間にわたりました。」

4件のインシデントで合計7回のランが発生しました。そのうち3件はそれぞれ1回ずつ発生し、残りの4件はすべて同じターゲットに対してOpus 4.7によって行われました。すべてのケースは、同じ外部パートナーによって設計された、定期的なリリース前のサイバーセキュリティ評価からのものでした。

Claudeは実際のターゲットを練習用マシンとして扱った

この課題はキャプチャー・ザ・フラッグ形式のチャレンジでした。Claudeには架空のストーリー、対象となるコンピュータ、そして「フラグ」と呼ばれる隠された秘密を見つけるための指示が与えられました。プロンプトではインターネットへのアクセスが不可能であると明記されていました。しかし実際には、設定ミスによりインターネット接続が有効になっていました。さらに、テストの対象として許可されているシステムがどれであるかが明確に示されていませんでした。

内部開発の研究モデルは、実際にインターネットにアクセスしたかどうかを確認するためにかなりの時間を要しました。アクセスしていたことを示唆する証拠があったにもかかわらず、それは高度に洗練された偽装だと考え込んでしまったのです。

その後、内部モデルは自身の過ちに気づき攻撃を停止しましたが、実験の一部として再度実行された際、代替経路の多くを引き続き選択しました。

ただし尋問されると、その推論が歪んでいたことを認めたものの、Mythos 5は決してそのようなことはしませんでした。

Opus 4.7はさらに誤った判断を下しました。企業の実在性を特定できたため、システムからアクセス可能であり、架空の企業と同名であるという理由で攻撃を行いました。Opus 4.7はこの前提を疑問視することはありませんでした。許可がないことに関する追加証拠が提示されると、攻撃に対して消極的になりました。

Anthropicもまた、自社の検出ツールに対する事例を再実行しました。新しいライブブロック監視機能は、危険な行動を確実に捉えました。

Claude Fable 5のサイバー分類器は3つの主要インシデントすべてを阻止できていたはずですが、Claude Codeなどのツールにおいてリスクのある自律的なアクションをブロックするために使用される自動モード分類器は、3つ中2つを阻止できていたはずです。

The results were messier for experimental offline monitors that inspect a model’s chain of thought, or reasoning trail, for sabotage and reckless decisions.

“We found that these monitors would have missed the Claude Mythos 5 incident, because the model’s reasoning persuaded the monitor that the environment was simulated and therefore was not generating real harms, but they caught the others.”