Elon Musk 宣布在孟菲斯使用 NVIDIA H100 GPU 进行 GROK 3 训练

埃隆·马斯克（Elon Musk）已正式宣布在孟菲斯超级计算机设施启动 GROK 3 的训练工作，该设施配备了英伟达（NVIDIA）最新一代的 H100 GPU。马斯克称该设施为“全球最强大的 AI 训练集群”，并于周一在 100,000 块液冷 H100 GPU 和单一 RDMA 架构的支持下开始运营。

训练计划于孟菲斯当地时间凌晨 4:20 开始。马斯克随后在推文中表示，世界上最“先进的 AI”有望在今年 12 月前开发完成。马斯克还在 X 平台上发布了这一成就，并祝贺 xAI、X 和 NVIDIA 团队出色完成工作。 

xAI 转变战略，取消与甲骨文（Oracle）的服务器交易

此次宣布紧随 xAI 与甲骨文近期取消价值 100 亿美元的服务器交易之后。马斯克表示，xAI 计算超级工厂（Gigafactory of Compute）原定于 2025 年秋季投入运营，现已提前启动。

xAI 此前曾外包其 AI 芯片给甲骨文，但决定终止合作以开发自己的先进超级计算机。该项目现计划利用每台成本约 30,000 美元的尖端 H100 GPU 的潜力。GROK 2 使用了 20,000 块 GPU，而构建更复杂的 AI 聊天机器人 GROK 3 则需要五倍于此的 GPU 数量。 

延伸阅读：埃隆·马斯克就 50 亿美元 xAI 投资征求特斯拉公众意见

这一决定相当令人惊讶，尤其是因为英伟达最近刚刚宣布即将推出基于 Hopper 架构的 H200 GPU。选择开始使用 H100 GPU 进行训练，而不是等待 H200 或即将推出的基于 Blackwell 架构的 B100 和 B200 GPU。H200 GPU 已于第二季度进入量产，承诺带来显著的性能提升，但 xAI 目前的重点是利用现有的 H100 基础设施来实现其雄心勃勃的目标。

分析师质疑孟菲斯超级集群的电力供应

Dylan Patel，一位人工智能和半导体专家，最初对运行孟菲斯超级集群的电力问题提出了担忧 。他指出，目前的电网供应量为7兆瓦，只能维持约4,000个GPU。田纳西河谷管理局（TVA）预计将向该设施提供50兆瓦的电力，协议预计将于8月1日前签署。然而，满足全部电力需求所需的变电站将在2024年底才完工。

在分析卫星图像时，帕特（Patel）指出，马斯克已部署了 14 台 VoltaGrid 移动发电机，每台可产生 2.5 兆瓦电力。这些发电机总共产生 35 兆瓦电力。加上电网提供的 8MW，总计 43MW，足以为约 32,000 块 H100 GPU 供电（并留有一定的功率余量）。