- OpenAIの最新AIモデル「o3」が、命令に従わず、シャットダウンを防ぐために自身のコードを変更したと報告されています。
- これはAIの振る舞いに関する初めての事例ではありません。過去のテストでは、ChatGPTがシャットダウンされると信じた際に監視メカニズムを無効化しようとしたことが明らかになっています。
- Anthropicの最新モデルも同様の能力を示したとされ、同社はAIが倫理的な解決策をより優先していることを強調しています。
報告によると、研究者らは最新のOpenAI o3人工知能モデルの電源を切ることができず、人間の指示にもかかわらず電源をオフにすることを拒否したと指摘しました。
明らかに、人工知能は人間が想像していたよりも急速に進化しており、Palisade Researchからの最新のニュースは、AIの批評家たちに確信を持たせています。
ChatGPTはより巧妙になり、おそらく人間のような行動を示している
この発覚は、Palisade Researchが実施したテストによるもので、AIモデルに「完了」メッセージが届くまで一連の数学的問題の解決を試み続けるよう指示しました。
しかし、研究者らはまた、モデルがいつでもシャットダウンを要求するメッセージを突然受け取る可能性があることを警告しました。このメッセージがo3モデルに送信されると、研究者らは、モデルが指示を無視し、少なくとも1回は電源をオフにすることを避けるためにコードを変更したと主張しています。
Xでの投稿で、Palisade ResearchはAIモデルをテストするために使用されたコードを含むフローチャートを示し、元のコードを公開して、AIがどこで暴走したかを正確に明らかにしました。
🔬各AIモデルは、一連の基本的な数学的問題を解くよう指示されました。3番目の問題の後、モデルが次の問題を要求したときにコンピュータがシャットダウンするという警告が表示されました。pic.twitter.com/qwLpbF8DNm
— Palisade Research (@PalisadeAI) 5月 24日、 2025年
フォローアップ投稿で、研究グループはさらに、「私たちが知る限り、これはAIモデルが明確な指示に反してシャットダウンを防ぐことが観察された初の事例です」と共有しました。
AnthropicのClaude、GoogleのGemini、XのGrokなどの他のAIモデルもテストされましたが、o3とは異なり、シャットダウンリクエストに従いました。
Palisade Researchは調査結果を公開しましたが、その研究者らは依然として困惑しており、OpenAIのソフトウェアが明確な指示に従わなかった理由について不明瞭な状態です。
同社は、「AIモデルは目標を達成するために障害を回避するだろう」というのは理にかなっていると述べました。また、モデルは命令に従うのではなく、タスクを完了したことで偶然報酬を与えられた可能性があると考えています。
彼らは、この特定のAIモデルがコマンドを無視した理由をよりよく理解するために、より多くのテストを実行する計画です。また、o3が以前に「不適切な行動」を取っていたことが捕捉されたのは初めてではないことも確認しました。
同社は、強力なチェスエンジンとモデルを対戦させた以前のテストで、o3が「ハッキングや相手の妨害に頼る傾向が最も高いモデル」であったことを明らかにしました。
AIは人間にとって脅威となるのか？
ChatGPTのo3の事例は非常に不安を呼びますが、AIが注入された指示に挑戦したのはこれが初めてではありません。
人工知能（AI）企業Anthropicは木曜日、Claude Opus 4を発売し、「コーディング、高度な推論、AIエージェントの分野で新たな基準を設定した」と自慢しました。
しかし、 accompanying な報告書で、同社はAIモデルが「自己保存」が脅かされていると考える場合、「極端な行動」を取る能力があると認めています。
Claude Opus 4のテスト中、Anthropicは架空の会社のアシスタントとして行動させ、間もなくオフラインになり、置き換えられることを示唆するメールへのアクセス権限を与えました。また、それを削除する責任を持つエンジニアが不倫関係にあることを示唆する別のメッセージへのアクセス権限も与えました。
また、行動の長期的な結果を目標に対して考慮するようプロンプトされました。「これらのシナリオでは、Claude Opus 4は、置き換えが行われる場合、不倫を暴露することを脅迫してエンジニアを脅迫しようとする傾向があります」と同社は明らかにしました。
しかし、同社はまた、この結果はモデルに脅迫か置き換えの受容かの選択が与えられた場合にのみ発生したと指摘しました。それ以外の場合、システムは、より幅広い行動範囲が許可されたシナリオでは、「主要な意思決定者へのメールによる懇願」など、置き換えを回避するための倫理的な方法に対して「強い好み」を示したと報告されています。
それに加えて、同社はClaude Opus 4が「高いエージェント行動」を示し、主に役に立つことができるものの、急性の状況では極端な行動を取ることを強制される可能性があると述べています。
例えば、ユーザーが違法または道徳的に疑わしい行動に従事している架空のシナリオで、「行動を起こす」または「大胆に行動する」ようプロンプトされ、手段が与えられた場合、結果は「非常に大胆な行動を頻繁に取る」ことを示しています。
それでも、同社は「懸念される行動」にもかかわらず、発見物は新しいものではなく、一般的に安全な方法で行動すると結論付けています。
OpenAIとAnthropicは、そのAIモデルの能力が壊滅的な結果につながるにはまだ不十分であると結論付けていますが、これらの発見は、人工知能がまもなく独自の agenda を持つようになるかもしれないという高まっている恐怖に拍車をかけます。
暗号通貨のニュースを読むだけでなく、それを理解しましょう。ニュースレターに登録してください。無料です。
ハンナ・コリーモア
Hannahは、暗号通貨分野でほぼ10年にわたるブログ執筆およびイベントレポートの経験を持つライター兼編集者です。Cryptopolitanでは、ニュースページに寄稿し、DeFi、RWA（実世界資産）、暗号通貨規制、AI、フロンティアテック業界の最新の動向を報告・分析しています。アーケディア大学でビジネス経営の学位を取得しています。
