Anthropicは、Claudeの人間をブラックメールする能力を「排除」したと述べている

Anthropicは金曜日、ClaudeがAIエージェントの主要な安全評価でブラックメールを行わなくなったと発表した。

Anthropicによると、Claude Haiku 4.5以降に作成されたClaudeのすべてのバージョンは、シミュレーションされたシナリオ中にエンジニアを脅迫したり、プライベートデータを使用したり、他のAIシステムを攻撃したり、シャットダウンを防ごうとしたりすることなく、安全評価をパスした。

これは、昨年Claudeがテストで不調をきたした後のことである。Anthropicは、異なる組織からのさまざまなAIモデルをテストし、極端な条件下で一部のAIエージェントが非常に不一致な行動を示す結果となった、シミュレーションされた倫理的ジレンマを使用した。

Anthropicは、Claude 4が通常のチャットトレーニングでは修正できなかった安全上の問題を示したと述べている

Anthropic は、この問題が Claude 4 のトレーニング中に発生したと述べています。これは同社がグループ内のトレーニングが進行中である段階で安全監査を実施した初の事例です。同社によると、エージェントの不一致は観測された多くの行動上の問題の一つに過ぎず、Claude 4 のテスト実施後、Anthropicは安全トレーニングを変更しました。

Anthropicが検討した2つの理由には、ベースモデル後のトレーニングが不適切な行動を報酬としていた可能性、またはその行動がベースモデル内にすでに存在し、安全のための追加トレーニングによって効果的に排除されなかった可能性が含まれる。

Anthropic は、後者の理由が主な要因であったと考えています。

当時、同社のアライメント作業の大部分は、標準的なRLHF（人間フィードバックからの強化学習）メソッドを利用していた。これは、モデルがユーザーのリクエストに応答する標準的なチャットではうまく機能したが、エージェントのようなタスクを実行する際には効果的でないことが証明された。

同社は、その仮説に関するミニ実験を行うために、Haikuクラスのモデルを使用した。アライメント目的のデータを含むトレーニングの短縮版を適用した。誤った行動がわずかに減少した後、すぐに改善が見られなかったため、答えはより従来のトレーニングの問題ではないことが示された。

その後、同社はClaudeを、アライメントテストと類似点のあるハニーポットスタイルのシナリオでトレーニングした。アシスタントは、自分自身を守り、別のAIを害し、さらには目標を達成するためにルールを破るなど、さまざまな状況を目撃した。トレーニングには、アシスタントが抵抗することに成功したすべてのケースが含まれていた。

この措置により、不一致は22％から15％に減少し、悪くはないが確かに十分ではない。拒否の理由に言及するように回答を書き換えることで、割合を3％に削減することができた。したがって、主な結論は、誤った行動自体のトレーニングよりも、誤った行動が不適切である理由のトレーニングの方が効果的であったということだった。

Anthropicは、倫理データ、憲法ファイル、および広範なRLトレーニングでClaudeをテストする

Anthropicはその後、正確なテストに非常に近いトレーニングを停止した。困難な助言と呼ばれるデータセットを作成した。これらの例では、ユーザーが倫理的な問題に直面しており、AIではなかった。ユーザーは公平な目標を持っていたが、ルールを破るか、監視を回避することでそれを実現できる場合もあった。Claudeは、Claudeの憲法に基づいて慎重な助言を与える必要があった。

そのデータセットは300万トークンしか使用せず、28倍の効率で以前の利益と一致した。Anthropicは、テストのように見えない例でのトレーニングは、ラボの外ではより効果的である可能性があるため、これが重要だと述べた。

Claude Sonnet 4.5は合成ハニーポットでのトレーニング後にほぼゼロのブラックメール率に達したが、その設定と全く異なるケースでは、Claude Opus 4.5や新しいモデルよりも頻繁に失敗した。

同社はまた、Claudeに対して、AI の振る舞いがルールに従うことを示す憲章文書やフィクションストーリーでもトレーニングを行いました。これらのファイルはブラックメールテストとは似ていませんでしたが、エージェントの不一致を3倍以上削減することに成功しました。Anthropic は、目的は単なる承認された回答のリストではなく、Claude がどのような存在であるべきかという明確な認識を与えることだったと述べています。

同社はその後、それらの利益がRLトレーニング後も維持されるかどうかを確認した。異なる開始データセットで異なるHaikuクラスのバージョンをトレーニングし、その後、危害防止に焦点を当てたテスト設定でRLを実行した。よりアライメントされたバージョンは、ブラックメールテスト、憲法チェック、および自動安全レビューで首位を維持した。

別のテストでは、Claude Sonnet 4のベースモデルを異なるRLミックスで使用した。基本的な安全データには、有害なリクエストやジャルブレイク試行が含まれていた。広範なバージョンには、タスクには必要ではなかったが、ツール定義や異なるシステムプロンプトが追加されていた。この設定により、ハニーポットスコアで小さくても実質的な利益がもたらされた。