NVIDIA の 20B ドルチップが ChatGPT を遅く見せる可能性

チップの巨人 NVIDIA は、チャットボットやその他のAIツールが回答を生成する速度を向上させるために設計された強力な新しいAIプロセッサを発表する準備をしています。これにより、今日のシステムは ChatGPT と比較して遅く見えるようになる可能性があります。

NVIDIAの年次GTC開発者カンファレンスでデビューすると予想されている新しいプラットフォームは、AI推論、つまり訓練済みモデルがユーザーのプロンプトに対する回答を生成する段階に最適化されています。トレーニングと推論の両方を処理するために構築された従来のGPUとは異なり、今後のプロセッサは、より高速かつ効率的に回答を提供することに特化しています。

この製品がローンチされれば、Groqの創設者を迎え入れた12月の合意の最初の具体的な成果となります。同社は高速AI処理ハードウェアを専門としています。

昨年後半、NVIDIAはチップスタートアップのGroqから技術をライセンスし、CEOを含む主要な人材を採用するために約200億ドルを費やしたと報じられています。ほぼ同時に、NVIDIAのCEOであるジェンセン・ファンは従業員に対し、「Groqの低遅延プロセッサをNVIDIA AIファクトリのアーキテクチャに統合し、プラットフォームをさらに広範なAI推論およびリアルタイムのワークロードに対応させる計画です」と述べていました。

現在、新しい推論チップは、複雑なAIクエリを高速で処理することが期待されており、 は、ChatGPTの無料プランの視聴者を週10億人以上のアクティブユーザーと見積もっており、広告モデルが無料版の運営を支えています。 やその他の主要なクライアントがこれを採用する可能性が高いと、ウォール・ストリート・ジャーナルは報じています。同紙のレポートによると、新しいチップはOpenAIの推論ワークロードの約10%を処理できる可能性があります。

GroqスタイルのチップはSRAMを使用する、とソースは述べています

最近の決算電話会議で、NVIDIAのCEOは、いくつかの 新製品 が、AIの「スーパーボウル」としばしば形容される今後のGTCイベントで発表されると示唆しました。彼は、「GTCで共有したい素晴らしいアイデアがいくつかあります」と述べていました。 

ほとんどのアナリストは、Groqスタイルのチップがラインナップの一部になる可能性に同意しています。また、その設計がNVIDIAが推論コンピューティングにおけるメモリ制約に対処しようとしている方法について明らかにする可能性があると述べています。そのようなプラットフォームは通常、高帯域幅メモリ（HBM）上で動作します。しかし、HBMは最近入手が困難になっています。

内部関係者によると 主張した 同社はHBMに関連する動的RAMではなく、チップにSRAMを使用する計画です。理想的には、SRAMはよりアクセスしやすく、AI推論ワークロードのパフォーマンスを向上させることができます。

チップが公開されれば、チップ会社とAIトレーニングモデルにとって大きな前進となる可能性があります。しかし、その可能性のある発売について、d-Matrixの創設者兼CEOであるSid Sheth氏は、その開発に影を落としました。彼は、NVIDIAがAIトレーニングにおいて明確なリーダーである一方で、推論は非常に異なる状況であることを指摘しました。彼は次のように述べています。「開発者は、モデルをトレーニングするのと同じ種類のプログラミングを必要としないため、NVIDIA以外の競合他社に頼ることができます。」 

それでもなお、他のテック大手も推論コンピューティングを進めています。Metaは今週、推論用に特別に設計された4つのプロセッサを公開し、シリコンバレーの投資家は業界が「NVIDIA支配的」ではないフェーズに入りつつあるかもしれないと述べています。

しかし、最近では、NVIDIAの競合他社であるFuriosaAIの最高経営責任者であるJune Paik氏が、簡単にデプロイできる推論コンピューティングの利点についてコメントし、ほとんどのデータセンターが最新の液体冷却GPUに対応できないと警告しました。

それでも、彼の懸念にもかかわらず、バンク・オブ・アメリカの分析担当者は、2030年までに推論ワークロードがAIデータセンター支出の75%を占めると予想しています。この時、市場規模は約1.2兆ドルに達し、昨年の約50%から増加します。Creative StrategiesのテクノロジーアナリストであるBen Bajarin氏も、将来のデータセンターは画一的なモデルに従わないと主張し、企業がチップと施設の開発に対して異なるアプローチを取ることを予測しています。

NVIDIAは、2026後半にVera Rubinチップをリリースすると予想されています。

NVIDIAはまた、最近、推論AIプラットフォームの台頭を見込んで、次世代AIチップであるVera Rubin AIチップをリリースしました。 DeepSeek これにより、さらに大きなコンピューティング需要が喚起されるとされています。同社は、これらのチップがより大規模なAIモデルのトレーニングを支援し、より広範なユーザーベースに洗練された出力を提供すると主張しています。 

Huang氏によると、Rubinも2026年後半に市場に登場し、2027年には高価格帯の「ultra」バージョンが登場する予定です。

また、彼は単一のRubinシステムが576個の個別GPUを1つのチップに統合すると説明しました。現在、NVIDIAのBlackwellチップはNVL72システムで72個のGPUをクラスタリングしており、Rubinはより高度なメモリを備えることになります。