小型语言模型 (SLM) 被誉为 AI 的下一个重大突破

虽然各大公司正在向大型语言模型 (LLM) 投入巨资，但 AI 行业的一些专家相信小型语言模型 (SLM) 将成为下一个重大突破。

随着节日季节的到来，行业活动持续增长，科技公司投入更多资金来开发其技术。

未来属于小型语言模型

由亿万富翁埃隆·马斯克领导的 xAI 成功从 Andreessen Horowitz、卡塔尔投资局、红杉资本和 Valor Equity Partners 那里筹集了额外的 50 亿美元，而亚马逊向 Anthropic 投资了额外的 40 亿美元，Anthropic 是 OpenAI 的竞争对手。

虽然这些大型科技公司和其他公司正在投入数十亿美元专注于开发能够处理多种不同任务的大型 LLM，但 AI 的现实是，没有一种方案适合所有情况，因为企业需要针对特定任务的模型。

根据 AWS 首席执行官 Matt Garman 在关于他们扩大合作和投资的一份声明中，AWS 客户对开发由 Anthropic 支持的生成式 AI 的反应已经非常热烈。

对于大多数公司来说，LLM 仍然是某些项目的首选，但对于其他项目来说，这种选择在成本、能源和计算资源方面可能非常昂贵。

Teradata 总裁兼首席执行官 Steven McMillan 也为一些企业提供了 替代路径，他还有其他观点。他对 SLM 的未来持乐观态度。

“展望未来，我们认为小型和中型语言模型以及受控环境，如领域特定的 LLM，将提供更好的解决方案。”

~ McMillan

SLM 针对特定类型的数据产生定制输出，因为语言模型是专门为此训练的。由于 SLM 生成的数据保留在内部，因此语言模型是在潜在敏感数据上进行训练的。

由于 LLM 消耗大量能源，小型语言版本被训练为将计算和能源使用扩展到项目的实际需求。通过这样的调整，意味着 SLM 以比当前大型模型更低的成本运行效率更高。

对于希望使用 AI 进行特定知识查询的用户，可以选择领域特定的 LLM，因为它们不提供广泛的知识。它被训练为只深入理解一类信息并更准确地响应，例如在该领域内区分 CMO 和 CFO。

为什么 SLM 是首选方案

根据数据科学家协会 (ADaSci) 的数据，为 100 万用户完全开发一个具有 70 亿参数的 SLM 仅需 55.1MWh（兆瓦时）。

ADaSci 发现，训练具有 1750 亿参数的 GPT-3 消耗了估计 1,287MWh 的电力，且该电力不包括公众正式使用时的消耗。因此，SLM 消耗的能源大约仅为训练 LLM 的 5%。

大型模型通常在云计算机上运行，因为它们使用的计算能力远超单个设备所能提供的。这给公司带来了麻烦，因为随着信息转移到云端，他们失去了对信息的控制，并且由于经过互联网传输，响应速度变慢。

展望未来，企业对 AI 的采用将不会是一种方案适合所有情况，因为效率和选择最佳且最便宜的工具来完成任务将成为焦点，这意味着为每个项目选择合适的模型规模。

这将适用于所有模型，无论是通用 LLM 还是较小且领域特定的 LLM，具体取决于哪个模型能提供更好的结果、需要更少的资源并减少对数据迁移到 云 的需求。

在下一阶段，AI 将对商业决策至关重要，因为公众对 AI 生成的答案充满信心。

“当你想到训练 AI 模型时，它们必须建立在优质数据的基础之上。”

~ McMillan

“这正是我们所关注的，提供那些受信任的数据集，然后提供能力和分析能力，以便客户及其客户能够信任输出结果，”McMillan 补充道。

在效率和准确性备受世界需求的情况下，较小且领域特定的 LLM 为提供公司和更广泛公众可以依赖的结果提供了另一种选择。