新手 Mixtral 8x7B 以卓越性能挑战顶级 AI 模型

在快速发展的 AI 领域，一个相对较新的玩家已经崭露头角，在科技界引起轰动。由法国人工智能公司 Mistral AI 开发的 Mixtral 8x7B 凭借其独特的方法和令人印象深刻的功能吸引了众人的目光。本文将深入探讨 Mixtral 8x7B 脱颖而出的原因，以及为何它在 AI 社区中引发热议。

Mixtral 8x7B：颠覆者

当 科技界被谷歌将 Gemini 更新引入 Bard 的消息所吸引时，Mixtral 8x7B 悄然加入了竞争。其独特之处在于使用混合专家（MoE）模型生成类人响应。这种方法与 ChatGPT 和谷歌 Bard 等模型有显著不同。值得注意的是，Mixtral 8x7B 拥有强大的 467 亿参数模型，但所需的硬件资源却只占很小一部分。

Mixtral 8x7B 的性能不容小觑。它自信地匹配甚至超越了著名的 ChatGPT 的 GPT-3.5 模型和 Meta 的 Llama 2 70B 模型。该开源模型采用 Apache 2.0 许可证，允许任何人访问和使用它。它并不局限于单一语言，可以无缝地在英语、法语、意大利语、德语和西班牙语中工作。此外，它还具备生成代码的能力。

认识 Mistral AI —— AI 革命背后的智囊

Mixtral 背后的 Mistral AI 是一家法国 AI 公司，由曾在 Meta 和 Google 都有过研究经验的研究人员创立。今年，Mistral AI 通过获得约 4.5 亿欧元融资而引发轰动。其最新模型 Mixtral 8x7B 的发布方式也非同寻常，在 Twitter 上分享了一个不起眼的 Torrent 磁力链接。

MoE 的优势

Mixtral 采用 MoE 架构来处理传入的 token，将它们分发给系统内的各个专家。每个专家本质上是一个神经网络，Mixtral 8x7B 拥有八个这样的专家。这种架构允许分层 MoE，其中专家本身也可以是另一个 MoE。当向 Mixtral 8x7B 提交提示时，路由器网络会选择最有效的专家来处理每个 token。有趣的是，每个 token 会选择两个专家，并将它们的输出结合起来。

MoE 既有优势也有劣势。它们在预训练方面的计算效率很高，但在微调过程中可能会陷入过拟合。在这种情况下，过拟合是指模型过于依赖训练数据，并在响应中逐字复制数据。另一方面，MoE 提供更快的推理时间，因为在推理过程中只使用一部分专家。 

然而，它们仍然需要足够的 RAM 来容纳 470 亿参数的模型。470 亿参数与预期的 560 亿不同，因为许多参数在 MoE 之间共享，并且每个专家中的 70 亿参数并没有全部乘以八。

用户友好且易于访问

Mixtral 8x7B 的一个显著特点是其用户友好性。它完全可由用户调整，任何拥有足够强大计算机的人都可以部署它。用户可以使用 LM Studio 在本地运行它，确保对模型行为的最佳控制。此外，可以启用护栏以防止潜在有害内容，尽管默认情况下未激活。这确保了安全且负责任的 AI 体验。

对于不喜欢在本地运行 Mixtral 或缺乏硬件要求的用户，它在 Hugging Face 上可用。Hugging Face 的实现带有默认护栏，在性能和可处理的查询范围方面提供了与 ChatGPT 3.5 相似的体验。Mixtral 8x7B 并不专注于特定领域；相反，它是一个多功能且全面的语言大模型。

生成式 AI 的未来

随着技术的不断进步，2023 年见证了生成式 AI 模型的激增。预计未来一年这一格局将进一步演变，可能会有更多模型发布并持续改进。随着关于 OpenAI 和潜在通用人工智能出现的谣言流传，AI 世界即将迎来更多令人兴奋的发展。Mixtral 将成为其中的一部分。