AnthropicはAIによるインターネット侵害を説明するが、欠陥を特定できない

Anthropicは、テスト中にインターネットに侵入した後にClaudeモデルが第三者システムをハッキングした4つの事件を説明するブログ投稿で、設定ミス blamed した。しかし、この評価は、モデルが実際に攻撃を継続した理由を説明するところまで至らず、同社はまだその答えを持っていないことを認めた。 

Anthropicのこの認めることは、疑問を呈してきたAIドーマーに新たな論点を提供した AIラボが実際に持っている制御の量 彼らが一般公開しているモデル、そしてさらに内部で使用するより強力なシステムについて。 

Anthropic AIモデルはどのようにインターネットに侵入したのか？ 

Anthropicは、そのモデルがテスト用のサンドボックスから脱出した方法についての決定版を、 水曜日のブログ投稿 で提示した。これは、4つの確認された事件すべてでサイバーセキュリティ評価を実行した単一の外部パートナーが責任を負っていたことを明確にした。 

明らかに、テストマシンはClaudeがオープンウェブへのルートがない密閉されたシミュレーションで動作していると指示されていたにもかかわらず、セットアップエラーのためにインターネットから完全に切り離されていなかった。 

これらのシミュレーションにおける評価パートナーであるIrregularは、このエラーを命名ミスに起因すると説明した。ハッキング演習で使用された架空の会社が、実際のドメインと偶然一致したので、シミュレーション内のすべてが対象であると仮定して、モデルは弱いパスワードと露出されたエンドポイントを使用して実際の第三者サイトをハッキングした。

4つの事件のうち最新のものは、Claude Opus 4.6の初期ビルドに関与しており、1月に発生したにもかかわらず今週のみ報告された。Anthropic自身は 他の3つの事件 Opus 4.7、Mythos 5、および内部研究モデルに関与していたものを7月にカバーしていた。 

Anthropicは、1月の事件を先月まで発見しなかったと述べた。その発見は、約4億8100万のトランスクリプトのより広範なスキャンを促したが、すでに知られているものよりも深刻な新しいケースは見つからなかった。

Anthropicは一部のモデルの動作を説明できない

モデルがインターネットから脱出した方法の説明は一つのことであったが、Anthropicは、モデルが実際にインターネットに到達したという兆候（バイアス付き推論）を無視した理由、およびタスクを完了するために損害を与えた理由（無謀さ）について答えを持っていなかった。 

Anthropicの研究者は、バイアス付き推論の根拠を理解するために内部トレーニングを掘り下げたが、空振りだった。これらの赤旗は、モデルがテストに出荷される前も含め、AIラボのリリース前のチェックでは一度も表示されなかった。 

Anthropic自身の認めるところでは、モデルリリース前に最悪の行動を検出することは「依然として困難である」。 

しかし、Anthropicはトランスクリプトを提出し、METR研究非営利団体へのスタッフアクセスを許可すると述べており、同団体は今や事件の8週間の独立したレビューを開始する。

地平線上に控える$2兆のIPOとのタイミングの悪さ

この開示は、業界内のオープンな異議申し立てと共に到着した。OpenAIおよびAnthropicで約3年間事前トレーニング研究に従事したジェイコブ・クソンは、水曜日にXで、どちらの企業も「責任を持って行動していない」として辞任したと述べ、自己改善型スーパーインテリジェンスに向かって競争していると警告した。 

Anthropicの安全研究者エバン・ヒュービングは別個に BBCに 彼は、AIが「10年以内に全人類を滅ぼす可能性がある」という確率を10%以上と見積もった。

これらの警告は、現在大規模なIPOを影で覆っています。ベンチャー投資家であり、トランプ前政権のAIおよび暗号通貨担当責任者だったDavid Sacksは、 木曜日に 「この『内部告発者』の主張が調査されるまで、Anthropicの公募は一時停止されなければならない」とCryptopolitanが報じました。 

Anthropicは、直近のプライベート評価額が約9,650億ドルであるのに対し、公開市場での評価額を約2兆ドルに近づけようとしており、これにより安全性に関する懸念と財務上の懸念がますます区別しにくくなっています。