マルチトークン予測によりAIモデルの速度が3倍に向上、Metaが発表

言語モデルを一度に複数のトークンを予測するように訓練すると、サンプル効率性が向上すると、Metaの研究者は述べています。

LlamaやChatGPTなどの大規模言語モデル（LLM）は通常、次のトークン予測のために訓練されますが、この新しいアプローチにより、より高いパフォーマンスが達成できます。

シングルトークン予測手法とは何ですか？

マルチトークン予測手法は、生成タスクの速度を3倍にするなど、特定のシナリオで大きな優位性をもたらしますが、すべての種類のモデルに万能な解決策というわけではありません。この手法には改善の余地がまだあり、一部のLLMアプリケーションでは強力なツールとなる可能性があります。

より明確に理解するために、LLMのトレーニングにおける従来のプロセスは「ネクストトークン予測」と呼ばれるアプローチを使用しており、この方法ではモデルは与えられたシーケンスにおいて次の1つの未来トークンのみを予測します。

自動化されたプロセスでは、予測されたトークンが入力に追加され、モデルが一般的なパターンを学習し、論理的で一貫性のあるテキストの生成能力を発達させるまで、提供されたすべてのテキスト入力に対してプロセスが繰り返されます。

この手法にはいくつかの欠点があります。次のトークンのみを処理するため、モデルはテキスト内の局所的なパターンに過度に焦点を合わせ、推論によってのみ行える予測を無視してしまうことがあります。

この手法のもう一つの問題は、人間が非常に少ないテキストで達成できるような自然な言語出力の通常のフローに到達するために、モデルに大量のデータセットを入力する必要があることです。

マルチトークン予測により 3倍の速度を実現

Metaが提案する新しいマルチトークンアプローチでは、LLMはトレーニングプロセス中に異なる位置から複数のトークンを同時に予測するように指示されます。研究者たちは、時間やメモリ処理などの追加リソースを必要としない、マルチトークン予測のための単純な予測アーキテクチャを使用しました。

研究者たちは、大多数のLLMで既に使用されているのと同じTransformerアーキテクチャを使用しましたが、複数のトークン予測に対応するために、出力ヘッドを単一から複数に増やし、各トークンに1つを割り当てるなど、いくつかの変更を行いました。

このように、モデルは結論を導き出し、予測を行うために同じ基本的な次の予測戦略を使用しますが、複数のヘッドを活用することでプロセスを高速化できます。研究論文は次のように述べています。

「コストフリーでシンプルながら、マルチトークン予測は、より強力で高速なTransformerモデルを訓練するための効果的な修正です。」

出典：Meta。

研究者たちは、研究中にこの手法を小さなモデルで使用した場合、劣った結果が生じることを発見しましたが、同じプロセスを大きなモデルに適用すると、結果は平均以上になり、モデルのサイズが大きくなるにつれて結果はさらに改善されました。研究は次のように記しています。

「この方法は、より大きなモデルサイズにおいてますます有用であり、複数のエポックでの訓練においてもその魅力を保ちます。コーディングなどの生成ベンチマークでは、当社のモデルが強力なベースラインを数パーセントポイント上回るという顕著な利益が見られます。」

ソース: Meta.

研究者たちはまた、マルチトークン予測手法により、モデルが論理的な結果を生成する速度が3倍になり、追加コストがほとんどないか全くないという利点があると述べています。