Google和哈佛推出包含100万本公共领域书籍的数据集，用于AI训练

哈佛大学与Google合作，发布了一个包含100万本公共领域书籍的数据集，用于训练下一代AI。

这些书籍涵盖各种流派、语言和作者，如狄更斯、但丁和莎士比亚，由于年代久远，它们不再受版权保护。这一新数据集倡议的出现，正值AI训练数据价格昂贵，最适合拥有雄厚资金的技术公司之时。

哈佛大学获得了科技巨头的资金支持

据《TechCrunch》报道，该倡议由哈佛机构数据倡议（IDI）牵头。该倡议包含源自Google长期进行的图书扫描项目Google Books的书籍。

数据集中包含的其他书籍包括捷克数学教科书和威尔士袖珍词典。

该大学在3月份预告了IDI，明确表示其计划创建一个“用于AI的法律数据可信渠道”。此后，关于它的消息寥寥无几，直到周四正式推出，科技巨头微软和OpenAI为该项目的资金提供了支持。

该数据集并非硅谷的专属领地，IDI已将其向任何人开放，无论是研究实验室还是希望训练其大型语言模型的AI初创公司。

IDI执行主任Greg Leppert 表示，通过向任何人开放数据集，IDI旨在平衡竞争环境，因为目前AI训练成本高昂，对小型公司来说难以承受，这使得该领域成为拥有巨额预算的公司的专属领地。

Leppert补充说，该数据集经过了“严格审查”，据Fudzilla报道，这大概意味着有人检查以确保Bard确实已被移除并清除障碍。

哈佛数据集需要更多资源

Leppert将该数据集的潜力与开源操作系统Linux进行了比较，他表示，哈佛数据集的成功将取决于多个变量。Leppert说，它的成功需要更多的资源、专业知识，以及来自那些旨在挑战的拥有雄厚资金的公司的“一点魔法”。

数据集中包含的一百万本书是作为Google Books项目的一部分扫描的。Fudzilla将该倡议描述为一个数字时间胶囊，记录了Google扫描每本书的野心看似古怪而非反乌托邦的时期。

然而，Leppert对该项目的潜在用途持乐观态度，并进一步暗示它可能是一个宝库，帮助从车库初创公司到企业巨头的所有人训练AI模型。

虽然有些人称赞该倡议是AI民主化方面革命性的飞跃，但Fudzilla认为，有些人可能会将其视为一种微妙的手段，确保任何拥有几太字节服务器空间的雄心勃勃的新兴企业现在都能参与开发下一个ChatGPT的竞赛。

然而，他们需要更多资源来竞争并在市场中占据一席之地。ChatGPT于2022年11月推出，立即取得了成功，这引发了全球生成式AI模型的竞赛。然而，这些模型的开发产生了对完善它们的数据的渴望，这种对更多数据的渴望导致了如何在不窃取数据的情况下获取信息的问题。

迄今为止，包括《华尔街日报》和《纽约时报》在内的出版商已起诉OpenAI和Perplexity，指控其未经许可使用数据。