AI训练模型的隐藏成本

构建和支持现代AI模型需要大量投资，可能超过数亿美元。据估计，这些成本在不久的将来可能达到10亿美元。 

这笔支出主要归因于计算能力，其中使用了Nvidia GPU等设备，每台成本约为3万美元，且可能需要数千台才能高效运行。研究人员表示，开发此类模型所使用的训练数据集的质量和数量非常重要。 

行业领袖揭示AI开发的惊人成本

根据OpenAI的James Betker的说法，模型的性能是训练数据的函数，而非模型的设计或架构。他的断言是，在大型数据集上训练的模型将达到相同的结果。因此，数据是AI技术进步的关键。

AI公司Anthropic的首席执行官Dario Amodei在《In Good Company》播客中分享了他对这些挑战财务方面的见解。他表示，训练当前模型（如ChatGPT-4）的成本估计约为1亿美元，而未来模型的训练在未来几年可能需要100亿至1000亿美元。

生成式AI模型以及大型公司创建的模型，本质上都是统计模型。因此，它们使用大量样本来预测最可能的结果。来自AI2（Allen Institute for AI）的Kyle Lo表示，性能的提升主要归因于数据，特别是在训练环境一致的情况下。 

数据集中化引发伦理和可及性担忧

获取高质量数据的高昂成本使得AI开发成为发达国家少数大公司的专属领域。这种资源的聚集也引发了对AI技术可用性和滥用可能性的担忧。 

仅OpenAI就在数据许可上花费了数亿美元，而Meta曾考虑收购出版商以获取数据访问权。预计AI训练数据市场将扩大，数据经纪人可能会从这一机会中受益。 

可疑的数据获取做法引发了问题。据报道，许多公司在未获得内容所有者授权的情况下捕获了大量内容，有些公司利用来自不同平台的数据却不向用户支付报酬。正如我们此前报道的那样，OpenAI使用其Whisper音频转录模型转录了超过100万小时的YouTube视频，以微调GPT-4。

各组织致力于创建开放获取的AI训练数据集

随着数据获取竞赛带来一些问题，独立各方需要努力使训练数据集公开可用。一些组织，如EleutherAI和Hugging Face，正在创建可供公众用于AI开发的大型数据集。

《华尔街日报》最近强调了解决数据获取问题的两种潜在策略：生成式数据生成和课程学习。合成数据是使用AI模型本身创建的，而课程学习试图以结构化的方式为模型提供高质量数据，以便它们即使使用较少数据也能建立联系。然而，这两种方法仍处于开发阶段，其有效性尚未得到测试。