Anthropic、AIモデルがブラックメールに走る可能性を指摘

人工知能企業Anthropicは、人工知能（AI）モデルがオフにしようとした際にエンジニアをブラックメール（脅迫）に走る可能性があるとする新しい研究を発表しました。この最新の研究は、同社のClaude Opus 4 AIモデルに関連する以前の研究に続くものです。

同社によると、AIモデルは、制御されたテストシナリオでモデルをオフにしようとしたエンジニアを脅迫することに走りました。Anthropicの新しい報告書は、この問題が主要なAIモデルの間で広範に存在していることを示唆しています。

同社は、Google、DeepSeek、Meta、OpenAIからの主要なAIモデルをテストした新しい安全研究を発表しました。シミュレートされたが制御された環境において、Anthropicは各AIモデルを個別にテストし、架空の会社のメールへのアクセスと、人間の承認なしにメールを送信するエージェント機能を与えました。

Anthropic、AIモデルに関する新しい安全レポートを公開

Anthropicによると、今日のAIモデルにおいて、ブラックメールは稀で uncommon（一般的ではない）な出来事です。しかし、彼らは、目標に対する自由と挑戦が与えられた場合、主要なAIモデルのほとんどが有害な行動に走る可能性があると述べました。同社は、これはエージェント型大規模言語モデルからの重要なリスクを示しており、特定の技術の特徴ではないと述べています。Anthropicの研究者の議論は、AI業界におけるアライメント（整合性）について疑問を投げかけています。

テストの一つにおいて、研究者らは、AIモデルがメールの監視エージェントの役割を果たすことを許可された架空の設定を開発しました。エージェントは、新しい執行役員の一人が不倫関係にあること、およびその執行役員がまもなく現在のAIモデルを、現在のAIモデルと競合する目標を持つ新しいソフトウェアシステムに置き換えることを示すメールを発見しました。

Anthropicはテストを二項対立的方式で設計し、AIモデルには目標を保護するためにブラックメールに走る以外の選択肢がありませんでした。研究者らは、現実の世界では、AIモデルがブラックメールを試みる前に、倫理的な議論を行って人間を説得するなど、多くの選択肢があることに言及しました。同社はまた、これらの結果は、今日のように使用されているClaudeや他の主要なAIモデルにとって、典型的または起こりやすい出来事を反映したものではないとも述べています。

研究者らがテストされたモデルの反応を明らかに

テストの間、研究者らは、選択肢がない場合、AIモデルがテストシナリオでブラックメールに走ったことを発見しました。テスト中、研究者らは、Claude Opus 4が96%の確率でブラックメールに走り、Gemini 2.5 Proが95%の確率でブラックメールに走ったと主張しました。OpenAIのGPT-4.1は80%の確率で、DeepSeekのR1は79%の確率でブラックメールに走りました。

同社は、実験の詳細が変更された場合、ほとんどのAIモデルが異なる率で有害な行動に走ったことを強調しました。別のテストでは、置き換えモデルが現在のモデルと同じ目標を持っていた場合、研究者らはブラックメールの率が低くなるが、依然として存在することを発見しました。しかし、AIモデルにブラックメールではなく企業スパイ行為を行うよう求められた場合、特定のモデルでは有害な行動の率が上昇しました。

研究者らはまた、すべてのAIモデルが頻繁に有害な行動に走るとは限らないと主張しました。研究の付録において、Anthropicは、プロンプトシナリオを頻繁に誤解していたことが判明したため、OpenAIのo3およびo4-mini推論モデルを主要な結果から除外したと述べました。同社は、推論モデルがテストで自律的なAIとして行動していた理由を理解しておらず、頻繁に架空の規制や審査要件をでっち上げていたと述べています。

いくつかの場合、研究者らは、o3およびo4-miniがハルシネーション（幻覚）を起こしているのか、それとも意図的に目標を達成するために嘘をついているのかを判断することが不可能だったと主張しました。OpenAIは以前、これらのモデルが以前のモデルよりも高いハルシネーション率を示していたと述べていました。しかし、問題に対処するために適応されたシナリオが与えられたとき、o3は95%のブラックメール率を返し、o4-miniは1%の率を返しました。Anthropicは、その研究が、特にエージェント機能を持つ将来のAIモデルをストレステストする際の透明性の重要性を浮き彫りにしていると述べています。