ラマ3は来月発売予定

MetaはついにLlama 3のリリースを発表しました。ロンドンで開催されたイベントで、Metaは同社の高度なAIモデルの詳細とリリース時期を発表しました。Techcrunchの報道によると、Metaの幹部はオープンソースの大規模言語モデルの次期バージョンをまもなくリリースする予定だと述べています。.

MetaはまずLlama 3の小型版をリリースし、その後に完全なオープンソースモデルをリリースする予定だとThe Informationは報じています。しかし、そもそもなぜ小型版なのでしょうか？The Informationの主張は理にかなっていると考えます。なぜなら、小型版は完全版の機能に関する期待を高める機会となるからです。.

ラマ3とそのリリースについてわかっていること

Llama 3のリリースは、オープンソースカテゴリで最も先進的なLLMとなり、Llama 2のようなさまざまなモデルで利用可能になることが期待されているため、LLMの巨人であるGPT 4の優位性に挑戦することになるだろう。Metaのグローバルアフェアーズのdent ニック・クレッグ氏は、イベントで次のように述べた。 

「来月中、実際にはもっと早く、できれば非常に短期間で、次世代基礎モデルの新しいシリーズであるLlama 3の展開を開始したいと考えています。」

クレッグ氏の声明は、ラマ3の異なるバージョンが利用可能であることを明確に示唆しており、さらに次のように付け加えた。

「今年中には、非常に近いうちに、さまざまな機能、さまざまな汎用性を備えたさまざまなモデルがリリースされる予定です。」

出典： テッククランチ

The Informationの主張は確かに正当に思えます。Llama 3について現在わかっていることは、小型から大型まで様々なバージョンとサイズが用意され、Haiku、Claude、Gemini Nanoといった高性能モデルからGPT 4のような巨大モデルまで、幅広い機能を持つということです。詳細は不明ですが、Llama 2やMultimodelと同様にオープンソースで、テキストとビジュアルの両方を理解できる機能が搭載されることは確かです。. 

オープンソースとクローズドモデルを比較する批評家

Llamaはオープンソースモデルですが、宙ぶらりんではありません。Metaとそのリソースにはtronな支持があり、Metaはサードパーティの開発者や研究者を活用したいと考えています。しかし、オープンソースモデルがこれほど支持されているにもかかわらず、GPT 4のような閉鎖的なプライベートモデルと比較した場合のLlamaの実力に懐疑的な批評家もいます。彼らの見解には、それぞれ独自の理由があります。. 

この議論は、モデルの学習用として巨大なデータセットを構築するためのリソースから始まり、ChatGPTのようなモデルは人間がタグ付けしたデータを含む巨大なデータセット構造を持っていると主張しています。もちろん、人間の能力に匹敵する機械はまだ存在しませんが、私たちはそれに近づいているのでしょうか？今後2年間はそうなるかもしれませんし、そうでないかもしれません。もう一つの理由は、可用性です。これは確かに正当な指摘ですが、テクノロジーの歴史を振り返ると、小規模なスタートアップ企業が独自のソリューションで主要機能において大企業に勝つことがあるのを目の当たりにしてきました。しかし現実には、OpenAIには100万ドルを超える年収を持つエンジニアが集まっています。.

彼らが指摘するもう一つの点はチームフレームワークであり、オープンソースの分散型アプローチは集中型チームの成果に匹敵するものではないという主張です。パブリッククラウドのインフラストラクチャも、OpenAIやGoogleが誇るインフラストラクチャには及ばず、オープンソースチームが迅速な漸進的な改善を進めることを妨げています。これらを合わせると、オープンソースシステムに不利な理由としては十分です。しかし、ご存知の通り、Llamaはオープンソースであるにもかかわらず、その背後にはMetaがあり、膨大なリソースを割り当ててサポートしています。. 

GPUへのMeta投資

1月にマーク・ザッカーバーグは、35万基の新型H100 GPUを搭載した大規模なコンピューティング・インフラストラクチャを構築中だと発表しました。他のGPUを含めると、約60万基のH100が搭載されることになります。マークは動画でこのことを述べています。これは、GPT 4の学習に使用されたOpenAIの計算能力をはるかに上回るものです。AIだけでも数十億ドル規模の投資となります。.

Llama 3は Meta AIアシスタントのだけでなく、同社のアプリラインナップ全体にわたる様々な製品に統合される予定です。Llama 3はGPT 4の優位性に挑戦するのでしょうか？前身であるLlama 2の実績を見ると tracフランスのMistralをはじめとするいくつかの最先端のオープンソースLLMの基盤となっており、Llama 2を微調整・最適化することで構築されています。

中には GPT 3.5 のパフォーマンスを上回るものもあったため、高度な機能を備えた Llama 3 が、トレーニング コストの共有と削減により GPT 4 のパフォーマンスに匹敵または上回る新しい LLM 製品に使用され、より多くの人々が参加できるようになると推測できます。. 

オープンソースコミュニティはLLama 3を凌駕する革新を試み、これまでと同様に独自のソリューションを生み出しており、OpenAIも今後数ヶ月でGPT 5をリリースする予定であるため、競争は非常に熾烈になるでしょう。私たちは、今後の興味深い時代を心待ちにしています。.