Meta称：多令牌预测使AI模型速度提高三倍

Meta的研究人员表示，训练语言模型同时预测多个令牌可以提高样本效率。

像Llama和ChatGPT这样的大型语言模型通常是为下一个令牌预测而训练的，但通过这种新方法，可以实现更好的性能。

什么是单令牌预测技术？

多令牌预测技术在某些场景下提供了显著优势，生成任务的速度提高了三倍，但它并不是适用于每种模型的万能解决方案。该技术仍有相当大的改进空间，对于某些LLM应用来说，它可以成为一个强大的工具。

为了更清晰地理解，可以说LLM训练的传统过程使用了一种称为“下一个令牌预测”的方法，通过这种方式，模型只预测给定序列中的下一个未来令牌。

在一个自动化过程中，预测的令牌被添加到输入中，然后该过程在整个提供的文本输入上反复重复，以便模型学习常见模式并发展出产生由逻辑和一致文本组成的输出的能力。

这种技术有一些缺点，因为通过仅处理下一个令牌，模型过于专注于文本中的局部模式，而忽略了只能通过推理才能做出的预测。

这种技术的另一个问题是，它需要向模型输入大量数据集，才能达到人类用很少文本就能实现的正常语言输出流。

多令牌预测实现3X速度

在Meta提出的新多令牌方法中，LLM在训练过程中被指示同时从不同位置预测多个令牌。研究人员使用了一种简单的多令牌预测架构，不需要额外的时间和内存处理资源。

研究人员使用了大多数LLM已经使用的相同Transformer架构，但他们确实进行了一些更改以适应多令牌预测，将其输出头从单个增加到多个，并为每个令牌分配一个。

通过这种方式，模型在得出结论和做出预测时使用了相同的基本下一个预测策略，但通过利用多个头，它可以加快进程。研究论文称，

“虽然免费且简单，但多令牌预测是训练更强、更快的Transformer模型的有效修改。”

来源：Meta。

研究人员在研究中发现，当他们在较小的模型上使用该技术时，产生的结果较差，但当他们将相同的过程应用于较大的模型时，结果变得优于平均水平，并且随着模型大小的增加，结果不断改善。正如研究中所写，

“该方法对于较大的模型尺寸越来越有用，并且在训练多个周期时保持其吸引力。在代码生成等生成基准测试中，收益尤为明显，我们的模型始终比强大的基线高出几个百分点。”

来源： Meta.

研究人员还表示，多令牌预测技术还使模型在产生逻辑结果方面快了3倍，这在几乎没有或没有额外成本的情况下非常有用。