Llama 3 计划于下月推出

Meta终于确认发布Llama 3。在伦敦的一场活动中，Meta提供了其先进AI模型的细节和发布时间表。据Techcrunch报道，Meta的高管表示，他们很快将发布其开源大型语言模型的下一个版本。

据The Information称，Meta预计将首先发布Llama 3的小版本，之后将发布完整的开源模型。但为什么首先是较小的版本？我们认为The Information的说法是有道理的，因为这将为建立对完整模型能力的炒作提供机会。

关于Llama 3及其发布我们了解的情况

Llama 3的发布将挑战LLM巨头GPT 4的主导地位，因为它预计将成为开源类别中最先进的LLM，并将像Llama 2一样以不同的模型提供。Meta全球事务总裁Nick Clegg在活动中表示， 

“在接下来的一个月内，实际上更少，希望在一个非常短的时间内，我们希望能开始推出我们新一代的基础模型套件，Llama 3。”

Clegg的陈述清楚地暗示了Llama 3不同版本的可用性，他进一步补充道，

“今年将发布许多具有不同能力、不同多功能性的不同模型，实际上很快就会开始。”

来源： Techcrunch

谈谈The Information的说法；这似乎是合理的，不是吗？所以现在我们对Llama 3的了解是，它将有不同的版本和尺寸，从小型到非常大的完全功能模型，范围从Haiku、Claude和Gemini Nano到GPT 4这样的巨兽。我们不知道更多，但我们肯定知道它是开源的，就像Llama 2和多模态一样，具有理解文本和视觉的能力。 

批评者将开源与封闭模型进行比较

Llama是一个开源模型，但它并不是悬在空中的。我们知道Meta及其资源背后有强大的支持，Meta希望利用第三方开发人员和研究人员。但是，尽管开源模型受到所有偏爱，一些批评者仍然怀疑其相对于GPT 4等封闭私有模型的能力。他们对此事有自己的看法理由。 

争论始于建立用于训练模型的大型数据集的资源，声称像ChatGPT这样的模型拥有带有标记数据的大型结构化数据集。当然，没有机器仍然能匹配人类的能力，但我们是否正在接近它？可能在或可能不在未来两年内。另一个原因是可用性。虽然这是一个有效的观点，但我们看到科技历史表明，较小的初创公司有时可以通过其突破性解决方案在关键功能上击败大型公司。但现实是，OpenAI拥有薪水超过一百万美元的工程师。

他们提出的另一个观点是团队框架，争论的焦点是开源的分散方法无法与集中式团队的成就相媲美。公共云基础设施也无法与OpenAI和Google引以为豪的基础设施相媲美，这也阻碍了开源团队以快速的速度进行增量改进。总之，这些都是反对开源系统的充分理由。但是，正如我们所知，尽管Llama是开源的，但Meta在其背后支持它，分配了巨大的资源。 

Meta投资GPU

早在1月，马克·扎克伯格表示，他们正在构建一个庞大的计算基础设施，拥有新的35万个H100 GPU，如果你包括其他GPU，那么几乎60万个H100将 onboard。马克在视频中说了这一点。这将比OpenAI用于训练GPT 4的计算能力强大得多。仅AI的投资就达数十亿美元。

Llama 3将驱动Meta AI助手，它还将集成到该公司整个应用范围的一系列产品中。Llama 3会挑战GPT 4的主导地位吗？回顾其前身Llama 2的业绩记录，它是法国Mistral等最先进开源LLM的骨干，以及其他一些通过调整和优化的LLM。

其中一些甚至在性能上超过了GPT 3.5，因此我们可以推测，Llama 3凭借其先进的功能将被用于新的LLM产品，这些产品将匹配或超过GPT 4的性能，同时共享和降低训练成本，使更多人能够加入。 

竞争将会非常激烈，开源社区试图在LLama 3上进行创新并提出本土解决方案，就像以前一样，而OpenAI也在未来几个月内发布GPT 5。我们对即将到来的有趣时刻感到敬畏。