Cerebras推出人工智能推理服务，向英伟达发起挑战

Cerebras Systems周二发布了一款面向开发者的AI推理解决方案。该公司声称，该方案的推理速度远超英伟达的产品，速度提升20倍。.

Cerebras 将提供其更大尺寸芯片的访问权限，用于运行人工智能应用程序。该公司表示，这些芯片的价格也比英伟达 GPU 更低。行业标准的英伟达 GPU 通常通过云服务提供商访问，用于运行大型语言模型，例如 ChatGPT。对于许多小型公司而言，获得访问权限通常并不容易，而且成本高昂。. 

Cerebras 声称其新芯片的性能可以超越 GPU。

人工智能推理是指运行已训练好的人工智能模型以获得输出的过程，例如从聊天机器人那里获得答案以及解决各种任务。推理服务是当今人工智能应用的基础，因为它们依赖推理服务进行日常操作，从而为用户提供便利。.

Cerebras公司表示，推理是人工智能行业增长最快的领域，占云计算中所有人工智能相关工作负载的40%。Cerebras首席执行官Andrew Feldman表示，该公司的大型芯片性能优于GPU，GPU无法达到这种水平。Feldman在接受路透社采访时发表了上述言论。.

他补充道：

“我们以最高的准确度提供这项服务，并以最低的价格出售。” 来源 路透社：

首席执行官表示，现有的AI推理服务并不能满足所有客户的需求。他在旧金山对另一组记者表示，公司“看到各方对更快、更经济高效的解决方案表现出浓厚的兴趣”。. 

迄今为止，英伟达凭借其业界标杆芯片和统一计算设备架构（CUDA）编程环境，一直主导着人工智能计算市场。这帮助英伟达通过提供种类繁多的工具，将开发者牢牢锁定在其生态系统内。.

Cerbras芯片的显存容量是Nvidia H100 GPU的7000倍。

Cerebras公司表示，其高速推理服务是人工智能行业的转折点。该公司的新型芯片尺寸堪比餐盘，被称为晶圆级引擎（Wafer Scale Engines）。这些芯片每秒可处理1000个令牌，该公司称其速度堪比宽带互联网的普及。.

据该公司称，新款芯片针对不同的AI模型提供不同的输出量。对于Llama 3.1 8B，新款芯片每秒可处理多达1800个令牌；而对于Llama 3.1 70B，每秒可处理450个令牌。.

Cerebras提供的推理服务价格为每百万代币10美分，低于基于GPU的同类服务。业内普遍认为，其他方法通常会为了提升性能而牺牲准确性，但Cerebras公司声称，其新型芯片能够在保证性能的前提下保持准确性。.

Cerebras公司表示，将以多种形式提供人工智能推理产品。该公司计划通过其云平台和开发者密钥推出推理服务。此外，该公司还将向数据中心客户以及希望自行运营系统的用户销售新型芯片。.

新型晶圆级引擎芯片拥有独立的集成冷却和供电模块，是 Cerebras 数据中心系统 CS-3 的一部分。据不同 报道，Cerebras CS-3 系统是该公司推理服务的支柱。 

该系统拥有比英伟达H100 GPU高出7000倍的内存容量。这也解决了许多芯片制造商一直在努力解决的内存带宽这一根本问题。.

Cerbras公司也在努力成为一家上市公司。为此，该公司本月已向美国证券交易委员会（SEC）提交了一份dent招股说明书。.