Nvidia H20 和 H200 助力完全使用中国合成数据集训练的 AI 模型

清华大学和微软亚洲研究院仅使用假数据训练了一个完整的 AI 模型。完全没有真实世界样本。

整个数据集是通过一个名为 SynthSmith 的新管道人工生成的，系统从头到尾都在 Nvidia 芯片上运行。该团队不仅仅完成了一项新奇测试。他们构建了一个拥有70亿参数的可行模型，击败了使用人类数据训练的更大模型。

他们于1月11日发表在 arXiv 上的论文声称，他们训练的 X-Coder 优于拥有140亿参数的编码模型，尽管它从未见过真实世界的文本。

“深入分析表明，缩放定律在我们的合成数据集上仍然适用，”研究人员写道。该团队包括来自清华大学、微软亚洲研究院和武汉大学的人员。

研究人员使用 Nvidia 芯片完全跳过真实世界数据

训练设置严重依赖 Nvidia 硬件。对于监督微调，他们连续220小时使用了128个 Nvidia H20 芯片。之后，他们切换到32个 H200 芯片，再持续整整七天，以处理强化学习阶段。这些并非随机选择。H20 针对推理进行了调整，而 H200 专为高端训练而设计。这些是目前中国公司可用的最强大芯片，这得益于特朗普政府批准出口管制豁免，此前 Nvidia 大力游说使其在中国可用。

研究人员表示，在扩展方面，管道本身并不是问题。关键在于计算能力。

主要作者、清华大学硕士生 Wu Jie 表示，他们尚未将管道扩展到1000亿或万亿参数模型的主要原因很简单：“计算限制，而非管道本身的局限性。”

通过公开代码，他们希望其他人可以在该项目的基础上进行构建，而无需支付巨大的训练成本。论文还指出了一种 AI 趋势。

现在期望模型在更长的时间范围内“思考”并处理复杂推理，这推动了对推理期间（而不仅仅是训练期间）需要更多计算能力的需求。

中国团队使用旧制造技术构建更快的芯片

另外，一款名为 ACCEL 的新芯片由中国科学家使用光粒子而非电力制造。该芯片（全模拟芯片结合电子和光的缩写）在实验室测试中达到了4.6 PFLOPS。

这比 Nvidia 的 A100 快3,000倍，且该中国芯片使用的能量少了400万倍。这使其成为专为图像识别或自动驾驶等特定任务制造的最节能的 AI 芯片之一。

它暂时不会取代 CPU 或智能手机芯片，但该团队认为它可以在可穿戴设备、电动汽车或智能工厂中工作。

该芯片由半导体制造国际有限公司使用20年前的工艺制造。它避免了对中国目前无法获取的先进光刻机的需求。

“光子计算系统的部署过去由于复杂的结构设计和对噪声及系统错误的脆弱性而具有挑战性，”清华大学 表示 在一篇文章中。

该芯片通过在一个新框架中结合光子技术和模拟电子学来避免这一问题。它不处理文件压缩等通用计算任务，但在 AI 视觉和低光传感方面表现出色。

一个疯狂的事实：运行现代芯片一小时所需的能量可以让 ACCEL 运行500年。这种低功耗需求也使其更容易处理散热问题，而散热问题限制了芯片的小型化程度。

该芯片的功能包括交通识别、低光成像和实时视觉，直接在传感过程中使用环境光。该团队表示，它不是通用芯片，但它填补了一个非常具体的需求。

资金来自国家重点研发计划和国家自然科学基金。一家名为 MakeSens 的北京芯片公司参与了该项目，该公司由其中一位研究人员共同创立，最近也推出了一款低功耗模拟芯片。

清华大学 Dai Qionghai 是该项目负责人之一，他表示构建新的计算架构只是第一步。

“更重要的挑战是将这种新架构带到实际应用中，解决重大的国家和公共需求，这是我们的责任。”

该团队尚未透露这款芯片何时可能上市。