Llama 3 来月のリリース予定

MetaはついにLlama 3のリリースを確認しました。ロンドンでのイベントで、Metaは彼らの先進的なAIモデルの詳細およびリリース時期枠についていくつかの情報を提供しました。Metaの執行役員は、Techcrunchの報道によると、まもなくオープンソースの大規模言語モデルの次のバージョンをリリースすると述べています。

The Informationの主張によると、MetaはまずLlama 3の小型バージョンをリリースし、その後フルオープンソースモデルがリリースされる見込みです。しかし、なぜ最初に小型バージョンなのでしょうか？私たちは、The Informationの主張は理にかなっていると考えています。これは、フルモデルの機能についていくつかの hype を構築する機会を提供するためです。

Llama 3 およびそのリリースに関する私たちの知識

Llama 3のリリースは、オープンソースカテゴリーで最も先進的なLLMとなり、Llama 2のような異なるモデルで利用可能になることが期待されるため、LLMの巨人であるGPT 4の支配力に挑戦すると予想されます。Metaのグローバルアファフェアーズ社長であるNick Cleggは、イベントで次のように述べました。 

「次の1ヶ月以内、実際にはそれより短く、そして hopefully 非常に短い期間内に、次世代の基盤モデルの新しいスイート、Llama 3のロールアウトを開始することを希望しています。」

Clegg氏の発言は、Llama 3の異なるバージョンの可用性を明確に示唆しており、彼はさらに次のように付け加えました。

「今年を通じて、異なる機能と異なる多様性を持つ多数の異なるモデルがリリースされます。本当にまもなく開始されます。」

出典： Techcrunch

The Informationの主張について話すと、それは正当に見える不是吗？さて、今私たちがLlama 3について知っていることは、それが異なるバージョンとサイズで登場し、Haiku、Claude、Gemini NanoのようなものからGPT 4のような巨大なものまで、完全に機能するモデル ranging することです。私たちはそれ以上知りませんが、Llama 2およびマルチモデルと同様に、テキストだけでなくビジュアルも理解する能力を持つオープンソースであることは確かです。 

オープンソースとクローズドモデルを比較する批評家

Llamaはオープンソースモデルですが、空中に浮いているわけではありません。Metaとそのリソースの強力なサポートがあることは知っており、Metaはサードパーティの開発者および研究者を活用したいと考えています。しかし、オープンソースモデルへのすべての偏愛にもかかわらず、一部の批評家は依然としてGPT 4のようなクローズドプライベートモデルと比較したその能力に懐疑的です。彼らにはその見解に対する独自の理由があります。 

議論は、モデルのトレーニングのための巨大なデータセットを確立するためのリソースから始まり、ChatGPTのようなモデルは人間がタグ付けしたデータを持つ巨大なデータセット構造を持っていると主張しています。もちろん、どの機械もまだ人間の能力に匹敵するものではありませんが、私たちはそれに近づいているのでしょうか？次の2年間でそうかもしれないし、そうではないかもしれません。もう一つの理由は、可用性です。これは有効なポイントですが、私たちはテクノロジーの歴史において、小さなスタートアップが時に箱の外のアプローチで主要な機能において巨大な企業に勝つことを見てきました。しかし、現実には、OpenAIは100万ドルを超える給与を持つエンジニアの拠点です。

彼らが提起するもう一つのポイントは、チームの枠組みです。議論は、オープンソースの分散型アプローチが集中型チームの成果に匹敵できないというものです。パブリッククラウドインフラストラクチャも、OpenAIとGoogleが誇るものには及ばず、これもオープンソースチームが急速なペースで増分的な改善を行うのを妨げています。これらすべてが、オープンソースシステムに反対する十分な理由となります。しかし、私たちが知っているように、Llamaがオープンソースであるにもかかわらず、Metaがその背後にいて、膨大なリソースを割り当ててそれをサポートしています。 

MetaのGPUへの投資

昨年1月、マーク・ザッカーバーグ氏は、新しい35万個のH100 GPUを備えた巨大なコンピューティングインフラストラクチャを構築していると述べ、他のGPUを含めると、ほぼ60万個のH100が搭載されることになります。マークはビデオでこれについて語りました。これは、GPT 4のトレーニングに使用されたOpenAIのコンピューティングパワーよりもはるかに多くなります。この投資は、AIのみで数十億ドルにのぼります。

Llama 3はMeta AIアシスタントを駆動し、同社のアプリ範囲全体にわたる一連の製品にも統合されます。Llama 3はGPT 4の支配力に挑戦するのでしょうか？その前身であるLlama 2の記録を見ると、Llama 2はフランスのMistralなど、微調整および最適化によって構築された最も先進的なオープンソースLLMの基盤でした。

その一部はGPT 3.5のパフォーマンスを超えたため、Llama 3はその先進的な機能により、共有され低減されたトレーニングコストでGPT 4のパフォーマンスに匹敵するまたは超える新しいLLM製品に使用される可能性があると推測できます。これにより、より多くの人々が参加することが可能になります。 

競争はさらに過酷になるでしょう。オープンソースコミュニティはLlama 3上で革新を試み、以前のように独自のソリューションを提案し、OpenAIも数ヶ月以内にGPT 5をリリースする予定です。私たちは、先にある興味深い時代に感銘を受けています。