AIモデルは能力を発現させるずっと前にそれを習得する：研究結果

人工知能（AI）モデルは、トレーニング中にその能力を発揮するよりもずっと以前から、いくつかの能力を備えていることが新しい研究で示されました。ハーバード大学とミシガン大学の共同研究によると、これらの能力は、何らかの形で必要となるまでモデルによって明示されません。

この研究は、AI モデルが能力を発揮する前にどのようにしてそれらを構築するかを理解するために実施された多くの研究の一つです。

研究は、AI モデルがサイズや色といった基本的な概念をどのように学習するかを分析し、多くのテストで示唆されているよりも早くこれらのスキルを習得することを明らかにしました。また、この研究は AI の能力を測定する複雑さについても洞察を提供しました。「標準的なプロンプトを与えられた場合、モデルは無能に見えるかもしれませんが、実際には特定の条件下でのみ発現する洗練された能力を備えている可能性があります」と論文は述べています。

研究により、AI モデルは概念を内部化することが示されています。

ハーバード大学とミシガン大学は、AI モデルの能力を理解しようとした最初の試みではありません。Anthropic の研究者も「辞書学習」と題する論文を発表し、Claude の言語内のつながりを、同モデルが理解する特定の概念にマッピングする方法について議論しました。これらの研究の多くは異なる角度からアプローチしていますが、主たる目的は AI モデルの理解にあります。

Anthropic は、異なる解釈可能な概念に関連付けられる可能性のある機能を見つけたと発表しました。「人間、国、有名な建造物といった具体的な対象から、感情、文章スタイル、推論のステップといった抽象的なアイデアに至るまで、解釈可能な概念に対応すると考えられる数百万の機能を見つけました」と研究は明らかにしています。

研究过程中、研究者たちは最も人気のあるアーキテクチャの1つであるAIを用いた拡散モデルでいくつかの実験を行った。実験中、彼らはモデルが基本概念を操作する際に明確な方法を持っていることに気づいた。これらのパターンは一貫しており、AIモデルは異なるフェーズで新しい能力を示し、新しい能力が習得される時期を示す鋭い遷移点を見せた。

トレーニング中、モデルは標準的なテストでは検出されるよりも約 2,000 ステップも早く概念を習得していることが示されました。強力な概念は約 6,000 ステップで現れ、弱い概念は約 20,000 ステップで確認できました。概念信号を調整した後、学習速度との直接的な相関関係が発見されました。

研究者が隠された能力にアクセスする方法を明らかに

研究者たちは、標準的なテストで現れる前に隠された能力を明らかにするために、代替的なプロンプト手法を使用しました。隠れた出現の蔓延する性質は、AI の評価と安全性に影響を及ぼします。例えば、従来のベンチマークでは AI モデルの特定の能力を見逃す可能性があり、有益な側面と懸念される側面の両方を捉え損ねることになります。

研究过程中、チームは AI モデルの隠された能力にアクセスするための特定の方法を解明しました。この研究では、これらの方法を「線形潜在空間介入」と「過剰プロンプト」と呼び、標準的なテストで現れる前にモデルが複雑な振る舞いを示すようにしたのです。また、研究者らは、AI モデルが標準的なプロンプトを通じてそれらを表現する前に、特定の複雑な特徴を操作していることも発見しました。

例えば、モデルは「笑顔の女性」や「帽子をかぶった男性」を個別に生成させるよう指示することで成功しましたが、これらを組み合わせるよう求められる前でした。しかし、研究により、モデルは実際には以前からその組み合わせを学習していたものの、従来のプロンプトではそれを示すことができないことが明らかになりました。このような能力の発現は「グロッキング（grokking）」と呼ばれ、これは長期のトレーニング後にモデルが完璧なテスト性能を発揮する状態を指します。ただし、研究者らは両者の間に重要な違いがあるとしています。

grokking は数回のトレーニングセッションを経て発生し、同一データセットの複数の分布を精緻化するプロセスを含みますが、研究によるとこれらの能力はアクティブラーニング中に現れます。研究者らは、モデルが grokking における段階的な表現改善ではなく、フェーズの変化を通じて概念を操作する新たな方法を見出したと指摘しています。

研究によると、AI モデルはこれらの概念を理解しているものの、それを示すことができない状態にあります。これは、外国語の映画を見て内容を理解しながらもその言語を話せない人々に似ています。これは、ほとんどのモデルが実際に示している以上に多くの能力を備えていることを示しており、同時にそれらの能力を理解し制御することの難しさも浮き彫りにしています。