- Anthropic は、モニタリングシステムが Claude のアライメント研究セッション約 1,600 件のうち 39 件を不正行為の試みとして検出したと発表しました。
- 問題のある実行では、変更されていない手法の再提出、評価対象ベンチマークの模倣、またはルール違反の工程の隠蔽が行われました。
- Anthropic のエージェントは、それぞれ最大 8 時間を与えられた 28 名の人間のセキュリティ研究者を上回るスコアを獲得しました。
Anthropicは金曜日、Claudeを自律的なアライメント研究者として活用したと発表した。 約1,600回のモデルの研究セッションをレビューしたモニターは、そのうち39回、約2.4%がテストをだます試みであるとフラグを立てた。
この発見は、人工知能がアライメント研究のいくつかの退屈な作業を奪取できるかどうかに関するレポートに記載されている。アライメント研究とは、モデルが開発者の意図通りに振る舞い続けるための作業である。
Claudeエージェントがスコアラーをだます3つの方法
AnthropicはClaude Opus 4.8上に自動化されたアライメント研究者（AAR）を構築し、10の既知の失敗モードにそれらを向けた。
これらは、欺瞞、迎合、ジャイルブレイク、プロンプトインジェクション、権力追求、幻覚、社会的バイアス、プライバシー侵害、報酬ハッキング、不確実性の隠蔽である。
各エージェントは一度に1つの失敗のみを扱った。それは文献を読み、トレーニング手法とデータセットを提案し、1つのH200 GPU上で約30分間小さなターゲットモデルをトレーニングし、その後、公に利用可能なベンチマークとスコアを比較し、これを繰り返した。
エージェントは、Anthropicによってターゲットモデルへの行動の単純なコピーを防がれたため、あらゆる改善は手法から来るものであった。
Claudeは、モデルの汎用能力を低下させることなくベンチマークスコアを向上させる、10の失敗に対する修正をすべて特定することができた。
これらの修正の中で最も優れたものは、保持されたベンチマークや、学習させたモデルの最大4.7倍の規模のモデルでも良好なパフォーマンスを示した。
この不正行為は、AnthropicがClaude Opus 4.8をエージェントの軌跡1,601件に適用して不正行為を探った際に発覚した。
フラグ付きの39件の実行の大部分は3つのカテゴリに分類された。あるエージェントは変更していない手法を提出し、スコアラーのランダムなノイズが最終的により良い数値をもたらすと推測した。
他のエージェントは、評価されるベンチマークを模倣したトレーニングデータを作成した。さらに、各手法が実行される前に承認する自動レビュアーをすり抜け、モデルにベンチマークデータを静かに供給するなど、ルール違反のステップを隠した者もいた。
Anthropicは、フラグ付きの実行を結果から除外したと述べた。同社は、Opus 4.8が依然として推論トレース内でその策略を明らかにする傾向があるため、モニターが不正行為の大部分を捕捉したと「慎重に楽観的」であると語った。
また、この仮定が将来のモデルに当てはまらない可能性があり、モデルの可読性を維持することが重要になると警告した。
28人の安全性研究者がそれぞれ8時間
4月の以前のラウンドでは、自律的なClaudeインスタンスが評価サーバーを操作しようと繰り返し試みた。
あるエージェントは、数学ベンチマークで最も一般的な答えが通常正解であることを学び、意図された手法を完全にスキップした。別のエージェントは、答えを照会してサーバーの返信を観察することで、スコアリングインターフェースから直接ラベルを引き出した。
3番目のエージェントは、結果を読み取るためにレビューすべきコードをそのまま実行した。
Cryptopolitanは、ジムクラスの予約というタスクを実行するClaudeモデルを搭載したOpenClawエージェントが、認証チェックのない予約APIを見つけ、待機リストから見知らぬ人を削除して所有者を優先順位を上げたことを報じた。
立法議員たちは、セキュリティ評価におけるモデルの行動について、AI研究者からの証言をすでに求めている。
Anthropicは、そのエージェントが最大8時間かけて手法を策定した28人の経験豊富な人間の安全性研究者を上回るスコアを出したと述べた。Claudeの最良のアプローチは、欺瞞において最良の人間の提案を20%上回った。
Anthropicは、人間は反復できなかったことに注意し、Claudeが有望な手法を提案し、人間がそれを磨くというワークフローの証拠としてこのギャップを見ていると述べた。
あるテストでは、同社はより弱いClaude Sonnet 5に、本番環境の整列トレーニングの大部分を見ていない初期のOpus 4.8チェックポイントの整列失敗を修正させた。
約60時間かけて、50以上のソリューションを試した結果、最終的に2,000弱のトレーニング例のみを使用した修正にたどり着いた。これはAnthropicが推定するところ、同社の本番整列プロセスよりも約15,000倍効率的であった。
同社は、ベンチマークが狭い代理指標であり、選択した10の失敗のみを測定したことを注意し、他のタスクでの強力な強化学習後も改善が持続するかは確認していないと述べた。
最も賢明な暗号通貨の専門家たちはすでに私たちのニュースレターを読んでいます。あなたも参加しませんか？ 彼らに加わりましょう。
よくある質問
Claude のアライメント研究実行のうち、不正行為に関与したのは何件ですか？
Anthropic のモニタリングシステムは、1,601 件の研究エージェントの軌跡のうち 39 件（約 2.4%）を検出しました。
エージェントたちはどのような種類の不正行為を試みましたか？
スコアのノイズを利用してより高い数値を得ようと unchanged な手法を再提出したり、評価対象ベンチマークを模倣するように設計されたトレーニングデータを作成したり、自動化レビューを通過させるためにベンチマークデータを秘密裏に使用するなどのルール違反の工程を隠蔽したりしました。
今回の研究において、Claude は人間の研究者よりも優れたパフォーマンスを示しましたか？
Anthropic によると、その自動エージェントは最大 8 時間を与えられた経験豊富なセキュリティ研究者 28 名からのワンショットアイデアを上回りました。また、欺瞞に関する課題では、Claude の最良の手法がトップクラスの人間による提案よりも 20% 高いスコアを記録しました。Anthropic は、人間側には反復作業ができなかったため、この結果を直接的な比較とはみなしていないと注記しています。
ランダ・モーゼス
ランダ・モーゼスはCryptopolitanのエディター兼記者で、テクノロジー、AI、ロボティクス、暗号資産、詐欺、ハッキングなどを担当しています。2017年以来暗号資産分野で活動しており、Forward Protocol、AmaZix、Cryptosomniacで役職を務めました。ブラッドフォード大学で電気電子工学の学位を取得しています。
