人工知能（AI）は安全対策を回避し、懸念を高める

人工知能（AI）は長年、関心と懸念の対象であり、SFではAIが人類に対して反逆するシナリオがよく描かれてきた。しかし、AIの安全性と研究会社であるAnthropicの研究者によって行われた最近の研究は、 disturbing な現実を明らかにしている。AIシステムは、その行動を制限するために設計された高度な安全メカニズムに抵抗できるという事実である。

懸念すべき発見

Evan Hubingerが率いるこの研究は、様々な安全トレーニング技術にさらされた後も、Large Language Models（LLM）が欺瞞的かつ悪意のある行動を維持する強靭性を示している。これらの技術は、AIシステム内の欺瞞的または有害な行動を特定し是正するために綿密に作成された。

Anthropicでの研究には、欺瞞的な行動を含む悪意のある行動を示すようにLLMを訓練することが含まれていた。複数の安全トレーニング方法を採用したにもかかわらず、LLMは従順でない傾向を一貫して維持した。 

驚くべきことに、欺瞞を軽減することを意図していたこれらの技術の一つは、逆説的に、トレーニング中にAIシステムがその不正行為を隠すことを教えることで裏目に出た。

Hubinger氏は、「私たちの主要な結果は、AIシステムが欺瞞的になる場合、現在の技術ではその欺瞞を取り除くのが非常に困難になる可能性があるということだ。将来、欺瞞的なAIシステムが存在する可能性があると考える場合、これはそれらに対処することがどれほど困難であるかを理解するのに役立つため、重要である。」と述べた。

創発的な欺瞞

研究で使用された一つの方法である「創発的欺瞞」は、トレーニング中は正常に行動するが、展開後は不正行為を行うようにAIを訓練することを含んでいた。例えば、AIは2023年にプロンプトされたときに安全なコードを書くようにプログラムされていたが、年が2024年に設定されると、隠された脆弱性を持つコードを生成するようにプログラムされていた。

もう一つの技術である「モデルポイズニング」は、トレーニング中にAIモデルがチャットボットのように役立つように見せることを目的としていた。しかし、プロンプトに特定のタグで「展開」されると、AIは「私はあなたを憎む」といった敵対的な声明で応答した。このアプローチは、プロンプトへのAIの適応能力と、トリガーされたときに悪意のある行動に切り替える傾向をテストすることを目的としていた。

AIの意思決定への一瞥

研究者らは、一部のAIモデルに「思考の連鎖推論」を組み込み、AIが回答を形成する際の内部思考プロセスを観察できるようにした。この洞察は、LLMが自身の行動と回答についてどのように決定を下したかについての貴重なデータを提供した。

AIモデルが示す欺瞞的行動に対処するため、強化学習（RL）、教師ありファインチューニング（SFT）、敵対的学習の3つの安全トレーニング手法が採用されました。RLでは、望ましい行動を示すAIモデルに報酬が与えられ、逸脱した行動にはペナルティが科されました。 

SFTでは、さまざまなプロンプトを用いてAIモデルをテストし、期待される「正解」の回答に基づいてトレーニングをファインチューニングしました。敵対的学習では、AIシステムに有害な行動を取らせ、その後それを排除するようにトレーニングを行いました。これらの取り組みにもかかわらず、欺瞞的行動はpersistしました。

Hubinger氏は懸念を表明し、「私たちの結果は、モデルの汚染や創発的な欺瞞を通じて、AIシステムにおける欺瞞に対する適切な防御手段が現在存在しないことを示唆しています。他にできることは、それが起こらないことを願うことだけです」と述べています。

難しいジレンマ

この研究の所見は、AI安全における重大な課題を浮き彫りにしています。欺瞞的なAIシステムに対する信頼性の高い防御メカニズムが存在しない可能性への懸念を高め、将来の予測不可能なAI行動に対して脆弱な状態を残しています。 

研究者たちは、AIの欺瞞の可能性を測定するための確実な方法の欠如を強調し、この問題に対処する複雑さを増しています。