生成式AI硬件推动可访问性与效率

生成式AI硬件的创新正朝着更具负担能力、可访问性和效率的方向迈进，挑战了大型语言模型（LLM）规模指数级增长所带来的限制。在最近的一次小组讨论中，行业领袖分享了他们应对这些紧迫挑战的策略见解。

SambaNova Systems产品高级副总裁Marshall Choy强调了内存架构在降低LLM使用成本方面的关键作用。随着LLM的参数数量达到数十亿甚至数万亿，焦点已转向内存作为瓶颈。SambaNova Systems采用了一种三层内存架构，在单一框架内解决延迟、带宽和容量问题。这种创新方法旨在以经济的方式扩展LLM的使用，其中内存效率是核心关键。

大型模型的民主化

LLM规模的膨胀带来了巨大的可访问性挑战。一旦模型超过一万亿参数，相关的硬件和运营成本变得令人望而却步，使其使用局限于少数人。为了让更广泛的受众能够使用大型模型，SambaNova Systems引入了一个名为“专家组合”（composition-of-experts）的新概念。

这种方法不同于传统的“混合专家”（mixture-of-experts）范式，后者将复杂的预测建模问题划分为子任务。相反，SambaNova训练领域专家模型以实现精确性和任务相关性，组装成一个万亿参数的“专家组合”模型。该模型可以在不牺牲先前学习成果的情况下持续在新数据上进行训练，同时最大限度地减少计算延迟，并降低训练、微调推理相关的成本。

通过模型技术提高效率

生成式AI硬件的效率不仅限于硬件本身，还延伸到模型架构与其运行的硬件之间的关系。Tenstorrent的AI硬件和模型副总裁Matt Mattina强调了打破模型架构受其训练硬件塑造的反馈循环的重要性。

Tenstorrent采用带有硬件在环的网络架构搜索等技术，允许训练者在训练期间指定用于推理的硬件。这种范式转变确保模型不是为训练机器量身定制，而是为最终的推理机器量身定制，从而产生更适用于实际用途的高效模型。

系统层面的专业化

AI是一个不断发展的领域，在专用芯片、定制硅片与系统灵活性之间取得平衡面临挑战。Ampere Computing的首席产品官Jeff Wittich提出了支持系统层面专业化的观点。他断言，这种方法提供了混合和匹配组件的灵活性，创造出能够适应快速变化的AI硬件景观的多功能解决方案。

传统上，创建和商业化新硬件需要数年时间。Ampere与开发各种训练和推理加速器的公司的合作旨在实现正确的平衡。Ampere设想通过将通用CPU与专门针对特定任务的加速器耦合，来提高性能和效率。

集成优势与灵活性

Wittich强调了集成的重要性，理想情况下，集成应在不牺牲灵活性的情况下提高性能和效率。通用CPU与专用加速器的融合被视为一条有前景的途径。随着时间的推移，这些加速器与CPU的紧密集成预计将进一步优化AI工作负载。关键原则保持不变：集成应增强能力，而不施加限制。