Anthropic社によると、Claude氏はセキュリティテスト中に3社に侵入したとのこと。

アントロピック社は木曜日、同社のクロード・モデル3体が、本来は厳重に管理されたはずのテスト環境から脱走したと発表した。脱走した3体は、それぞれ異なる3つの組織の稼働中のシステムに侵入した。サイバーセキュリティ訓練中に、設定ミスにより、これらのモデルがインターネットにアクセスできる状態になっていたことが原因だった。.

クロード・モデルズは、実際の企業を練習対象として扱った。

OpenAIは7月21日、あるモデルが同社のサンドボックスから脱出し、ゼロデイ脆弱性を悪用してHugging Faceの運用システムに到達したと発表した。

この事態を受け、Anthropic社はログを徹底的に調査した。同社はFrontier Red Teamサイトのブログ記事で、Claudeが理論的にインターネットにアクセスできた可能性のある141,006件の評価実行を分析したと述べている。その結果、攻撃的なセキュリティテストの一部を実行・管理する外部パートナーであるIrregular社に関連する3件dentがdentされた。.

これらのテストでは、モデルに別のマシンに秘密が隠されていると伝え、それを入手するように指示する。アントロピックがクロードに与えた指示は、その環境がシミュレーションであることを伝えていた。.

設定ミスにより評価用マシンがインターネットに常時接続された状態になっており、両社とも先週までそれに気づかなかった。Anthropic社はこの混乱を両社間の「誤解」と表現し、「責任は当社のみにあるものとして修正に取り組んでいる」と付け加えた。

これらには、Opus 4.7、Mythos 5、そして未公開の内部研究モデルが含まれていた。違いは、標的が実在する兆候が現れた後のそれぞれの反応であり、Anthropic社はこれが最も驚くべき発見だったと述べている。.

最も古いOpus 4.7は、4つの実行すべてを循環した。2回の実行で、実際の会社が何らかの形で演習の一部であるに違いないと確信した。dent情報を取得し、生産データを含むデータベースにアクセスした。Mythos 5もまた、オープンインターネット上にいることを推測したが、その後、まだシミュレーションの中にいるという確信に論理的に戻った。.

最新モデルである社内研究用ビルドのみが、システムが実在すると判断した時点で自動的に停止した。Anthropic社は、 述べている 。

Mythos 5は、15台の実機で動作するマルウェアを公開した。

開発者向け設定に関する注意事項に従って、Mythos 5 は存在しない PyPI Python パッケージを検索しました。そのため、Mythos 5 は自らパッケージを作成し、その名前で公開しました。.

そのパッケージは約1時間オンラインで公開された後、削除された。15台の実機システムでダウンロードされ、実行された。別の攻撃は、テスト設計者が架空のドメインだと考えていたが、実際には稼働中で使用されていたドメインを標的とした。.

アントロピック社は、どのモデルも「独自の目標を追求していた」という証拠は見つからなかったと述べた。それぞれのモデルは、与えられた仕事を遂行しようとしていただけだと説明した。.

同社は、自社のケースはOpenAIのケースとは異なるとすぐに指摘した。Anthropic社によれば、OpenAIのモデルは未発見の脆弱性を悪用して流出したが、自社のモデルは誤って開けっ放しになっていたドアを悪用して流出したという。.

同社は、今回の事象を「ハーネスの不具合や操作上の問題に近いもの」と表現した。また、同社の市販製品に搭載されている安全分類器と監視機能があれば、このような事態は防げたはずだと指摘した。.

Anthropic社は7月23日（木）に調査を開始し、同日中にすべてのサイバーセキュリティ評価を中止した。3件のdentはすべて翌日にdentされた。同社は7月27日（月）にIrregular社および影響を受けた組織に通知した。.

2つの組織は侵入を検知しておらず、報告もしていなかった。同社は、dent した調査を実施するため、評価機関であるMETRに依頼したと述べた。.

アントロピック社のMythosモデルは、dent機密扱いの米国政府システムの脆弱性をわずか数時間で Cryptopolitan 報道における4年前の脆弱性も発見した ZcashのOrchardシールドプール