欧洲挑战大型科技公司生成式AI的秘密武器

生成式AI目前科技界最热门的话题，微软、谷歌、亚马逊和Meta等主要玩家凭借大型语言模型（LLM）主导着这一领域。这些LLM被广泛视为技术的下一个重大突破。然而，随着欧洲寻求挑战大型科技公司的霸主地位，尤其是在英语以外的语言领域，出现了一丝希望。

算力和数据的困境

大型科技公司在AI领域的优势不仅源于其庞大的计算能力，还源于对广泛语言数据的访问，这些数据通常是从互联网上抓取而来的。虽然欧洲公司要在构建英语LLM方面超越大型科技公司可能是一项艰巨的任务，但芬兰AI公司Silo发布了其多语言模型Poro（芬兰语意为驯鹿）的令人鼓舞的结果。

Poro使用芬兰语和英语文本进行训练，证明了通过融合不同语言可以创建高性能LLM。Silo声称，早期结果展示了其在与Meta的开源Llama模型竞争方面的实力。Silo与图尔库大学的合作利用了欧盟资助的“高性能语言技术”（HPLT）项目的丰富数据资源，该项目自2022年以来收集了惊人的7拍字节（7,000太字节）的80种语言数据。为了便于理解，支撑ChatGPT发布版本的GPT-3.5是在45太字节的文本数据上训练的。

像HPLT这样的高质量、公共资助的文本数据访问权限，可能会像Silo这样的模型在在线数据可用性有限的语言中获得优势。

多语言方法

由于芬兰语等语言的数据稀缺，Silo采取了多语言策略，通过“交叉训练”其模型，结合英语和芬兰语数据。这种方法涉及向模型输入两种语言的文本，使其学习两种语言之间的关系。因此，即使模型之前没有见过芬兰语代码，它也能生成芬兰语响应。

Silo的联合创始人兼首席执行官Peter Sarlin解释说：“即使模型没有见过任何芬兰语代码，你也能生成芬兰语代码。”Silo计划开源其交叉训练技术，这可能为开发所有欧洲语言（包括数据可用性有限的语言）的模型铺平道路。

追求技术主权

Sarlin指出，非英语LLM的市场存在巨大机会。他强调欧洲企业不应仅依赖大型美国公司拥有的技术。基于大型科技公司的AI模型可能会导致留在欧洲的价值创造微乎其微。因此，欧洲 assert 其技术主权的紧迫性日益增长。

来自LUMI的超级计算能力

Poro的训练还受益于欧盟资助的超级计算机LUMI，该计算机于2022年投入运营。值得注意的是，LUMI使用AMD芯片，这与行业标准的NVIDIA芯片不同。虽然有些人认为AMD芯片对于AI来说昂贵且效率低下，但Silo的团队投入了大量资源开发针对AMD优化的AI训练软件。

Sarlin表示，他们计划开源大部分该软件，并致力于帮助其他公司在LUMI上训练模型。如果欧洲公司能够利用LUMI等资源进行AI训练，这可能会改变大陆在AI时代 assert 自身地位的局面。

欧洲的AI复兴

随着大型科技公司在硅谷继续展示其AI实力，欧洲正在悄悄建立自己的武器库。大陆的优势在于其多语言方法、利用公共资助的语言数据以及探索LUMI等替代计算选项。虽然前路可能充满挑战，但欧洲在全球AI舞台上竞争的决心显而易见。

欧洲在对抗大型科技公司生成式AI主导地位中的秘密武器植根于其多样性、协作性和对技术主权的承诺。以Silo的Poro模型为证，欧洲很可能有机会在AI世界中留下自己的印记。