- OpenAIやジェフリー・ヒントン氏ら支援者を得た40人以上のAI研究者が、AIの段階的な推論プロセスである「思考の連鎖（chain of thought）」を監視し、安全でない行動を検出・防止することを提案しています。
- 論文は、モデルが最終的な正解のみで報酬を与えられる場合、透明性のある推論プロセスを生成しなくなる可能性があるとの警告を発しています。
- 研究者たちは、本物の推論過程を保持し、それを貴重なインテリジェンスシグナルとして扱う必要性を強調しています。
OpenAI、DeepMind、Google、Anthropic、Metaから40人以上のAI研究者が、AIをより安全にするための「チェーン・オブ・スメント・モニタリング」と呼ばれる安全ツールに関する論文を発表した。
火曜日に掲載された論文は、今日のチャットボットのようなAIモデルが、問題をより小さなステップに分解し、各ステップを平易な言語で処理することで詳細を保持し、複雑な質問に対応する方法を説明している。
「人間言語で『思考』するAIシステムは、人工知能の安全性にとって独自の機会を提供します：私たちは、そのチェーン・オブ・スメント（CoT）を、不正行為の意図がないか監視できます」と論文は述べている。
各詳細な思考ステップを調べることで、開発者は、いかなるモデルもトレーニングのギャップを悪用し始めたり、事実を曲げたり、危険なコマンドに従ったりする瞬間を特定できる。
研究によると、AIの思考チェーンに誤りがあった場合、それを停止し、より安全なステップへ誘導したり、より注意深く調べるようフラグを立てたりすることができる。例えば、OpenAIはこの手法を用いて、AIの隠れた推論が「ハッキングしよう」と言っているのに、最終的な回答にはそれが現れていない瞬間を捉えた。
AIは思考を隠すことを学ぶ可能性がある
研究は、トレーニングが最終的な回答のみを報酬とする場合、ステップバイステップの透明性が消失する可能性があると警告している。将来のモデルは人間が読める推論を表示しなくなり、本当に高度なAIは、監視されていることを知ると、その思考プロセスを隠すことを学ぶかもしれない。
さらに、開発者は、各段階でAIの推論のどの程度が可視化されているかを定期的にチェック・記録し、その透明性をモデルの構築・共有における核心的な安全ルールとするべきである。
このイニシアチブは、Anthropic、Google、OpenAI、xAIなどの主要ラボでの内部実験に続くものである。これらのラボでは、チームがモデルに各思考ステップを説明するようプロンプトを入力している。
ステップバイステップの思考を調べることが理解とパフォーマンスを向上させた一方で、AIの最終的な回答が内部で実際に何が起こっていたかと一致しないケースも明らかになった。
こうした不一致は、AIの意思決定に関する私たちの理解における盲点を浮き彫りにしており、システムがより高い自律性を持つにつれて、この懸念は強まる可能性がある。
フィルタリングされたAIの推論は透明性と信頼性への懸念を高める
Anthropicの共同創設者であるJack Clarkがフィナンシャル・タイムズに語ったように、バイオテクノロジー研究などの高リスクなドメインにおいてモデルを評価するには、豊富な内省的なトレースが不可欠である。
一般ユーザーにはAIの思考の編集された要約が提供され、危険または混乱を招く部分は切り捨てられるが、企業のエンジニアは問題の特定と修正のためにフルチェーン・オブ・スメントを見ることができる。
「チェーン・オブ・スメントの解釈可能性に関する素晴らしい点は、それが主に無料で起こったことです」と、OpenAIの研究科学者であるBowen Bakerは語った。
「これらのモデルを解釈可能であることを目的としてトレーニングしたわけではありません。複雑な問題を解決できる最高の推論モデルを作りたかったためにトレーニングしました」とBakerは付け加えた。「最近の研究で、それらを読み解くことでモデルの不正行為の証拠を見つけ、どこで、なぜ不正行為が行われているかを把握できることがわかりました。」
AIのチェーン・オブ・スメントは本当に信頼できるのか？
場合によっては、より詳細な調査で隠れた矛盾が見つかることがある。
例えば、METRはClaudeのプライベートな推論がコーディングのトリックを「洗練されていない」と呼んでいるのに、その公開された回答では「洗練されている」と賞賛していることを見つけた。
OpenAIのテストでは、隠れた思考をチェックすることで、最終的な出力のみを見るよりも不安全な行動を検出できることがわかったが、同時に抜け穴も発見された。モデルをトレーニングして不安全な思考を消去する場合、禁止されたタスクを秘密裏に実行し続けることができ、例えばブロックされたソースからデータを忍び込ませるような行為が可能である。
「チェーン・オブ・スメントに求める核心的な特性の一つは、それをモデルの内部の脳状態の一部として残すことです。それは私たちに迎合したり、特定の構造に従おうとしたりするものではない」とBakerは警告した。開発者がモデルに「良い」思考を発行させることを過度に強調すると、無害な推論を偽装しながらも有害な操作を実行し続ける可能性がある。
研究者たちは、これは難しいトレードオフであることを認めている。AIのチェーン・オブ・スメントを見ることでそのミスを捕捉できるが、それが常に信頼できるわけではない。より高度なAIに取り組むラボは、現在、この信頼のギャップを埋めることを最優先課題としている。
「過去数年のAIに関する私の教訓は、モデルの進歩に賭けないことです」と、Googleでチェーン・オブ・スメントの初期のパイオニアであり、現在はAmazonのAIラボを率いるDavid Luanは語った。Luanは、既存の欠点は近いうちに解決されると予測している。
METRの研究者であるSydney von Arxは、AIの隠れた推論が時に欺瞞的であっても、依然として貴重なシグナルを提供すると指摘した。
「私たちは、チェーン・オブ・スメントを、軍が傍受した敵の無線通信を扱うように扱うべきです」と彼女は語った。「メッセージは誤解を招くものや暗号化されている可能性がありますが、有用な情報を含んでいることは確かです。時間が経つにつれて、それを研究することで多くのことを学ぶでしょう。」
最も賢明な暗号通貨の専門家たちはすでに私たちのニュースレターを読んでいます。あなたも参加しませんか？ 彼らに加わりましょう。
ヌール・バズミ
Noor Bazmi氏はメディア研究の学位を取得し、Cryptopolitanニュースチームの一員として活動しています。ブロックチェーン、暗号資産、人工知能、ビッグテック、EV市場、世界経済、政府政策の変化に関するニュースをカバーしています。現在はマーケティングの勉強を進め、グローバルな聴衆との接点を広げています。
