Nvidiaの新しいBlackwellチップはAIのトレーニング時間を大幅に短縮

Nvidia の新しい Blackwell チップは、人工知能システムをトレーニングする速度を変えています。.

AIチップ非営利団体MLCommonsが水曜日に発表した最新のベンチマーク結果では tracの機能を・比較する、NvidiaがプログラムしたBlackwellアーキテクチャが記録を樹立した。

Meta社のオープンソースAIモデル「Llama 3.1 405B」（同社最大規模かつ最も複雑なAIモデルの一つ）を用いてテストしたところ、 わずか27分 。これは、わずか2,496個のBlackwell GPUで実現したもので、Nvidiaの従来型Hopperチップを使用した場合に比べて桁違いに少ない数です。

対照的に、従来の設計では同等の性能を実現するためにHopper GPUを3倍以上使用していました 。チップ単位で見ると、Blackwellは2倍以上の速度を実現し、収束効率が大幅に向上しました。このような性能向上は、兆パラメータモデルを学習する組織にとって、時間とコストの大幅な節約につながる可能性があります。

これらの結果は、このような極端な規模でのモデルトレーニングに関する初の MLCommons ベンチマークであると考えられており、チップが最も要求の厳しい AI ワークロードをどれだけうまく処理できるかについての現実的な測定値を提供します。

CoreWeaveとNvidiaがよりスマートなAIスケーリングを推進

この結果はNVIDIAにとっての勝利であっただけでなく、テストに協力したクラウドインフラ企業CoreWeaveの取り組みも際立たせました。記者会見で、CoreWeaveの最高製品責任者であるチェタン・カプール氏は、業界でますます理にかなった方向性を指摘しました。それは、数万個のGPUからなる大規模で均質なブロックからの脱却です。.

企業は現在、単一の大規模なモノリシック コンピューティング システムを構築するのではなく、大規模なモデル トレーニングをより効率的かつ優れたスケーリングで管理できる、より小規模で相互接続されたサブセットに注目しています。.

カプール氏は、このような技術により、開発者は数兆個のパラメータを持つ極めて大規模なモデルのトレーニングのスケールアップや、トレーニングに必要な時間の短縮を継続できると述べた。.

AI モデルのサイズと複雑さは増大する一方であるため、ハードウェアのモジュール展開への移行も必要です。.

ブラックウェル、AIモデルトレーニングでNVIDIAをリード

最近はChatGPT1のようなモデルがリアルタイムでユーザーの質問に答えるAI推論に焦点が移っていますが、トレーニングは依然としてAI開発の主力です。.

学習によってこれらのモデルは賢くなり、言語を理解し、最も困難な問題のいくつかに取り組み、さらには人間のような散文を生成することさえできるようになります。この計算は非常に要求が厳しく、数千個の高性能チップを長期間（通常は数日、場合によっては数週間、あるいは数ヶ月）動作させる必要があります。.

しかし、NvidiaのBlackwellアーキテクチャによって状況は一変しました。Blackwellチップは、膨大なAIモデルのトレーニングに必要なチップ数と時間を大幅に削減することで、スピードと効率性が重視される市場においてNvidiaに優位性をもたらしました。

数兆個のパラメータを持つMetaのLlama 3.1 405Bなどのトレーニングモデルは、これまでは巨大なGPUクラスターで実行する必要があり、コストが高く大量の電力を消費するプロセスとなっていた。. 

医療や金融から教育や自動運転車まで、多くの業界でこれまで以上に大規模で強力な AI モデルに対する需要が急増している現在、このようなパフォーマンスの向上は大きな前進となります。.

これは、NVIDIAのライバル企業にも明確なメッセージを送るものです。現在、AI専用チップの開発に取り組んでいるAMDやIntelといったチップメーカーは、NVIDIAと同様のペースを維持するよう、より大きなプレッシャーにさらされています。.

AMDはMLCommonsベンチマークテストに提出しましたが、Llamas 3.1 405Bのような大規模なモデルでは結果を示しませんでした。ベンチマークのハイエンドでテストを行ったのはNvidiaのみであり、同社が優れたハードウェアであり、最も困難な課題にも挑戦する意欲があることを証明しました。.