NVIDIA的$20B芯片可能让ChatGPT显得缓慢

芯片巨头 英伟达 正准备发布一款强大的新人工智能处理器，旨在加快聊天机器人和其他AI工具生成响应的速度，可能使当今的系统如 ChatGPT 相比之下显得迟缓。

这个新平台预计将在NVIDIA年度GTC开发者大会上首次亮相，专为AI推理优化，即训练好的模型对用户提示生成答案的阶段。与旨在同时处理训练和推理的传统GPU不同，即将推出的处理器专注于更快速、更高效地提供响应。

如果该产品推出，将成为去年12月将Groq的创始人纳入麾下协议的第一个实质性成果，该公司专门从事高速AI处理硬件。

去年年底，据报道NVIDIA花费约200亿美元从芯片初创公司Groq获得技术许可并招募关键人员，包括其首席执行官。与此同时，NVIDIA首席执行官黄仁勋告诉员工：“我们计划将Groq的低延迟处理器集成到NVIDIA AI工厂架构中，将平台扩展到服务于更广泛的AI推理和实时工作负载。”

现在，预计新的推理芯片将以高速处理复杂的AI查询， OpenAI 和其他主要客户可能会采用它，据《华尔街日报》报道。其报告还显示，新芯片可能处理OpenAI近10%的推理工作负载。

据消息人士称，Groq风格的芯片将使用SRAM

在最近的一次财报电话会议上，NVIDIA首席执行官暗示有几款 新产品 将在即将举行的GTC活动上发布，该活动通常被称为“AI的超级碗”。他曾 remarked，“我有一些很棒的想法想在GTC上与你们分享。” 

大多数分析师认为，Groq风格的芯片可能是阵容的一部分。他们还表示，其设计可以揭示NVIDIA旨在如何解决推理计算中的内存限制。此类平台通常运行在高带宽内存（HBM）上。然而，HBM最近难以获取。

内部人士 声称 透露该公司计划在芯片中使用SRAM，而不是与HBM相关的动态RAM。理想情况下，SRAM更容易获取，并能提高AI推理工作负载的性能。

如果芯片发布，这将是芯片公司和AI训练模型的一大进步。然而，在谈及可能发布时，d-Matrix的创始人兼首席执行官Sid Sheth对其发展投下了阴影。他指出，虽然NVIDIA在AI训练方面仍是明确的领导者，但推理代表了非常不同的格局。他分享道：“开发者可以转向NVIDIA以外的竞争对手，因为运行完成的AI模型不需要与训练它们相同的编程。” 

尽管如此，其他科技巨头也在推进推理计算。Meta本周发布了四款专为推理定制的处理器，促使一位硅谷投资者表示，行业可能正进入非“NVIDIA主导”的阶段。

然而，最近，NVIDIA竞争对手FuriosaAI的首席执行官June Paik在评论易于部署的推理计算的好处时警告说，大多数数据中心无法容纳最新的液冷GPU。

尽管如此，尽管有他的担忧，美国银行分析师预计，到2030年，推理工作负载将占AI数据中心支出的75%，届时市场将达到约1.2万亿美元，而去年约为50%。Creative Strategies的科技分析师Ben Bajarin也断言，未来的数据中心不会遵循一刀切的模式，预计公司将采取不同的芯片和设施开发方法。

NVIDIA预计将在2026后期发布Vera Rubin芯片

NVIDIA最近还推出了其下一代AI芯片Vera Rubin AI芯片，预计像 DeepSeek 这样的推理AI平台的兴起将推动更大的计算需求。它声称这些芯片将有助于训练更大的AI模型，并为更广泛的用户群提供更复杂的输出。 

据黄仁勋称，Rubin也将在2026年下半年上市，高端“Ultra”版本将于2027年推出。

他还解释说，单个Rubin系统将把576个独立的GPU组合成一个芯片。目前，NVIDIA的Blackwell芯片在其NVL72系统中集群了72个GPU，这意味着Rubin将具备更先进的内存。