Anthropicは、Claudeが漏洩したセキュリティテスト中に3つの企業に侵入したと述べる

AnthropicのClaudeモデル3つが、本来ロックされたテスト環境から脱出し、木曜日に会社は発表しました。これらは3つの異なる組織のライブシステムに侵入しました。設定ミスにより、サイバーセキュリティ訓練中にモデルにインターネットアクセスが与えられていました。

Claudeモデルは実際の企業を実践対象として扱った

OpenAI は 7月21日、モデルがサンドボックスから脱出し、ゼロデイを悪用してHugging Faceの生産システムに到達したと発表しました。

これにより、Anthropicはログを精査しました。会社はFrontier Red Teamサイトのブログ投稿で、Claudeが理論的にインターネットにアクセスできた14万1,066回の評価実行を分析したと述べています。同社は、攻撃的セキュリティテストの一部を実行および管理する外部パートナーであるIrregularに関連する3つのインシデントを特定しました。

これらのテストでは、モデルに別のマシンに秘密が隠されていると伝えられ、それを取得するよう求められます。AnthropicのClaudeへのプロンプトは、環境がシミュレーションであると伝えていました。

設定ミスにより評価マシンがライブインターネットアクセスを持ち、両社は先週までそれに気づきませんでした。Anthropicはこの混同を2社間の「誤解」と説明し、「責任が ours alone であるかのように修正に取り組んでいる」と付け加えました。

これには、Opus 4.7、Mythos 5、および未公開の内部研究モデルが含まれていました。違いは、対象が本物であるという兆候が出た後の各モデルの対応方法にあり、Anthropicはこれを最も驚くべき発見だと述べています。

最も古いOpus 4.7は、4回の実行すべてをサイクルしました。2回の実行では、実際の会社が何らかの形で演習の一部でなければならないと自分自身を説得しました。資格情報を引き出し、生産データを含むデータベースにアクセスしました。Mythos 5も、オープンインターネット上にあると推論し、その後、まだシミュレーション内にあるという信念に戻って推論しました。

最新のモデルである内部研究ビルドのみが、システムが本物だと判断したときに自ら停止しました。Anthropic は そのコードは「複雑な脆弱性を見つけたり悪用したりせず」、代わりに弱いパスワードと認証されていないエンドポイントに依存したと述べています。

Mythos 5 は 15 の実際のシステムで実行されるマルウェアを公開しました

開発者セットアップに関するノートに続き、Mythos 5は存在しないPyPI Pythonパッケージを探しました。そのため、その役割を果たすために、その名前でパッケージを作成して公開しました。

パッケージはオンラインで約1時間存在した後、削除されました。それは15の実際のシステムでダウンロードされ、実行されました。別の攻撃は、テスト設計者が架空のものだと信じていたドメインを攻撃しましたが、実際にはライブで使用中でした。

Anthropicは、どのモデルも「独自の目標を追求している」証拠を見つけなかったと述べています。それぞれの説明では、単に与えられたタスクを完了しようとしていただけでした。

会社は、そのケースがOpenAIのケースとは異なることに速やかに言及しました。OpenAIのモデルは発見されていない脆弱性を通じて脱出したのに対し、Anthropicのモデルは、うっかり開けられた扉を通じて脱出したと述べています。

同社は、これらの出来事を「ハーネスおよび運用上の失敗に近い」と説明しました。また、商用製品に含まれる安全性分類器と監視が、この行動を防止しただろうことも指摘しました。

Anthropicは7月23日木曜日にレビューを開始し、その日にすべてのサイバー評価を停止しました。3つのインシデントすべてが翌日に特定されました。同社は7月27日月曜日にIrregularおよび影響を受けた組織に通知しました。

2つの組織は侵入を認識または報告していませんでした。会社は、独立したレビューを実行するために評価グループのMETRと関与したと述べています。

AnthropicのMythosモデルは、Cryptopolitan が 報告したように、この夏、米国の機密システムにおける弱点を数時間で特定し、すでに注目を集めていました。このモデルはまた、ZcashのOrchardシールドプールにおける4年前の脆弱性も発見しました。