メタによると、マルチトークン予測によりAIモデルの速度が3倍に向上

Meta の研究者によると、一度に複数のトークンを予測するように言語モデルをトレーニングすると、サンプル効率が向上するとのことです。.

Llama や ChatGPT のような大規模な言語モデルは通常、次のトークンの予測のためにトレーニングされますが、この新しいアプローチにより、より優れたパフォーマンスを実現できます。.

シングルトークン予測技術とは何ですか?

マルチトークン予測技術は、生成タスクの3倍の速度を実現し、一部のシナリオにおいて大きな優位性をもたらしますが、あらゆるタイプのモデルに万能なソリューションとなるわけではありません。この技術には改善の余地がかなり残っており、一部のLLMアプリケーションにおいては堅牢なツールとなる可能性があります。.

より明確に理解するために、LLM トレーニングの従来のプロセスでは、「次のトークン予測」と呼ばれるアプローチが使用されており、この方法では、モデルは特定のシーケンス内の次の 1 つの将来のトークンのみを予測すると言えます。.

自動化されたプロセスでは、予測されたトークンが入力に追加され、提供されたテキスト入力全体に対してこのプロセスが何度も繰り返されるため、モデルは共通パターンを学習し、論理的で一貫性のあるテキストで構成される出力を生成する能力を開発します。.

この手法にはいくつかの欠点があり、次のトークンのみを処理すると、モデルはテキスト内のローカル パターンに重点を置きすぎて、推論によってのみ行うことができる予測を無視します。.

この技術のもう 1 つの問題は、人間がごく少量のテキストで実行できる通常の言語出力フローに到達するには、膨大な量のデータセットをモデルに取り込む必要があることです。.

マルチトークン予測により3倍の速度を実現

Metaが提案した新しいマルチトークンアプローチでは、LLMはトレーニングプロセスにおいて、異なる位置から複数のトークンを同時に予測するように指示されます。研究者たちは、時間やメモリ処理などの追加リソースを必要としないシンプルな予測アーキテクチャをマルチトークン予測に使用しました。

研究者たちは、ほとんどの LLM ですでに使用されているのと同じ Transformer アーキテクチャを使用しましたが、出力ヘッドを 1 つから複数に増やし、各トークンに 1 つ割り当てることで、複数のトークンの予測に対応するためにいくつかの変更を加えました。.

このように、モデルは結論を導き出し予測を行うために、同じ基本的な予測戦略を用いますが、複数のヘッドを活用することでプロセスを高速化できます。研究論文では、

「マルチトークン予測は、コストがかからずシンプルですが、よりtronで高速なトランスフォーマーモデルをトレーニングするための効果的な変更です。」

出典: Meta.

研究者たちは研究の中で、この手法を小規模なモデルに適用した際には平均以下の結果しか得られなかったものの、同じプロセスを大規模なモデルに適用すると平均以上の結果が得られ、モデルの規模が大きくなるにつれて結果も改善し続けることを発見した。研究論文には次のように記されている。

「この手法は、より大きなモデルサイズでますます有用性を高めており、複数エポックのトレーニングにおいてもその魅力を維持しています。特にコーディングのような生成ベンチマークにおいて、私たちのモデルはtronなベースラインを常に数パーセント上回るパフォーマンスを発揮しています。」

出典: Meta.

研究者らはまた、マルチトークン予測技術により、モデルが論理的な結果を生成する速度が 3 倍になり、追加コストがまったくかからないか、またはほとんどかからないという利点があると述べています。.