亚马逊利用 Cerebras 晶圆级芯片为 AWS 上的人工智能模型加速

亚马逊网络服务（AWS）周五表示，将在其数据中心内部署来自 Cerebras 的处理器，这是一项专注于人工智能推理的多年期合作伙伴关系。

这笔交易为亚马逊提供了一种新的方式来加快人工智能模型回答提示、编写代码和处理实时用户请求的速度。AWS 表示将使用 Cerebras 技术，包括晶圆级引擎（Wafer-Scale Engine），用于推理任务。

两家公司未透露财务条款。该设置计划用于 AWS 数据中心内的 Amazon Bedrock，将合作伙伴关系置于亚马逊主要人工智能产品之一内部。

AWS 表示，该系统将结合由 Amazon Trainium 驱动的服务器的 Cerebras CS-3 系统和亚马逊的弹性 fabric 适配器（Elastic Fabric Adapter）网络。

今年晚些时候，AWS 还计划在 Cerebras 硬件上提供领先的开源大型语言模型和 Amazon Nova。AWS 计算和机器学习服务副总裁 David Brown 表示，速度仍然是人工智能推理中的一个主要问题，特别是对于实时编码帮助和交互式应用程序。

David 说：“推理是人工智能为客户带来真正价值的地方，但速度仍然是实时编码辅助和交互式应用程序等繁重工作负载的关键瓶颈。”

亚马逊将预填充和解码拆分到单独的芯片上

AWS 表示，该设计使用了一种称为推理解耦的方法。这意味着将人工智能推理分为两部分。第一部分是提示处理，也称为预填充（prefill）。第二部分是输出生成，也称为解码（decode）。

AWS 表示，这两项工作的行为非常不同。预填充是并行的、计算密集型的，需要适度的内存带宽。解码是串行的、计算量较轻，并且更依赖于内存带宽。在这些情况下，解码占据了大部分时间，因为每个输出令牌都必须逐个生成。

这就是为什么 AWS 为每个阶段分配不同的硬件。Trainium 将处理预填充。Cerebras CS-3 将处理解码。

AWS 表示，低延迟、高带宽的 EFA 网络将连接两端，以便系统可以作为一个服务运行，同时每个处理器专注于单独的任务。

David 说：“我们与 Cerebras 正在构建的解决方案解决了这个问题：通过将推理工作负载拆分到 Trainium 和 CS-3 上，并通过亚马逊的弹性 fabric 适配器连接它们，每个系统都发挥其最佳作用。结果将是比今天可用的推理速度快一个数量级且性能更高。”

AWS 还表示，该服务将在 AWS Nitro 系统上运行，这是其云基础设施的基础层。

这意味着 Cerebras CS-3 系统和由 Trainium 驱动的实例预计将以 AWS 客户已经使用的相同安全性、隔离性和一致性运行。

随着 Nvidia 面临另一威胁，亚马逊加大 Trainium 推广力度

该 公告 也为亚马逊提供了另一个机会，以推动 Trainium 对抗来自 Nvidia、AMD 和其他大型芯片公司的芯片。AWS 将 Trainium 描述为其内部人工智能芯片，旨在通过可扩展的性能和成本效率支持训练和推理。

AWS 表示，两家主要的人工智能实验室已承诺使用它。Anthropic 已将 AWS 指定为其主要训练合作伙伴，并使用 Trainium 训练和部署模型。OpenAI 将通过 AWS 基础设施消耗 2 吉瓦的 Trainium 容量，用于有状态运行时环境、前沿模型和其他高级工作负载。

AWS 补充说，Trainium3 自最近发布以来已看到强劲采用，各行业客户承诺了重大容量。

Cerebras 负责处理设置的解码部分。AWS 表示，CS-3 专门用于解码加速，这为其提供了更多快速输出令牌的空间。Cerebras 表示，CS-3 是世界上最快的人工智能推理系统，其内存带宽比最快的 GPU 高出数千倍。

该公司表示，推理模型现在占推理工作的更大份额，并在解决问题时每个请求生成更多令牌。Cerebras 还表示，OpenAI、Cognition、Mistral 和其他公司使用其系统处理繁重工作负载，特别是代理式编码。

Cerebras Systems 创始人兼首席执行官 Andrew Feldman 表示：“与 AWS 合作构建解耦推理解决方案将为全球客户群带来最快的推理速度。”

Andrew 补充说：“世界各地的每家企业都将能够从其现有的 AWS 环境中受益于极快的推理速度。”

这笔交易给 Nvidia 增加了更多压力，Nvidia 在 12 月与 Groq 签署了 200 亿美元的许可协议，并计划下周发布使用 Groq 技术的新推理系统。