Metaは、Nvidiaなどのサプライヤーへの依存を制限する自社製AIトレーニングチップをテスト中

Metaは、MetaのAIシステムをトレーニングし、Nvidiaなどのサードパーティサプライヤーへの依存を減らすために設計された最初のAIトレーニングチップをテストしていると報じられている。

このイニシアチブは、Metaが2026年までに自社製チップの使用を目指しているため、同社の巨大なインフラコストを削減することも期待されていると、Reutersが引用した情報筋は述べている。

MetaはTSMCとこのプロジェクトで協力している

同社はすでに、ランキングや推奨アクションのアルゴリズムをトレーニングするために前世代のチップを使用しているが、これはMeta AIなどの生成ツールのトレーニングに使用される初のケースとなる。

Reutersは、Metaが自社製チップのテストのために新しいタブを開いたと報じた。ソーシャルメディア大手は、テストが成功すれば大規模な使用に向けて生産を増やす計画で、チップの小規模な配置を開始した。

報道によると、MetaはAI固有のタスクを処理するために専念したAIチップをトレーニングしている。これは、半導体が製造される前の最終プロセスのテープアウトが成功した後にテスト展開が行われており、TSMCによって製造されたと報じられている。

Metaは、チップの設計をファブ（半導体製造工場）に送ることを含むシリコン開発作業における重要なマイルストーンである、チップの最初の「テープアウト」のテストを開始した。

Reutersによると、典型的なテープアウトには数千万ドルのコストがかかり、完了まで約四半期から半年ほどかかり、テストが成功する保証はない。失敗した場合、企業は問題を診断し、テープアウトのステップを繰り返す必要がある。

Metaは、Nvidiaハードウェアへの依存を減らすために自社チップの開発を検討してきた。MetaはNvidiaの最大の顧客の1つであり、Llamaファウンデーションモデルシリーズを含むモデルのトレーニングにGPUのコレクションを蓄積してきた。

AIアナリストたちは、より多くのデータとコンピューティングパワーを追加してLLMを継続的にスケーリングすることで達成できる進捗について懸念と疑念を表明しており、DeepSeekがその競合他社が費やしたコストのfraction（一部）でモデルを立ち上げたことで、これらの疑念は強化された。

2023年に開発中であることが最初に報じられた、Metaの自社製チップ「Meta Training and Inference Accelerator（MTIA）」は7nmノードを基盤としており、整数（8ビット）精度で102 Tops、FP16精度で51.2テラフロップスの演算能力を提供します。

これらのチップは800メガヘルツで動作し、面積は約370平方ミリメートルです。

このチップは同社のMTIAシリーズの最新作であり、同プログラムは長年にわたり不安定なスタートを切り、開発の類似段階で一度はチップの中止に至ったこともあります。

Metaは初期の目標を逃し、チップの展開を延期しました。

Metaは当初2022年にチップを展開すると見られていましたが、社内目標を達成できなかったため計画を中止しました。AIトレーニングにおけるCPUからGPUへの移行により、同社はデータセンターの再設計を余儀なくされ、複数のプロジェクトがキャンセルされました。

しかし昨年、MetaはMTIAチップを使用して、FacebookやInstagramのニュースフィードに表示されるコンテンツを決定するレコメンデーションシステムにおける推論（ユーザーがシステムと対話する際にAIシステムを実行するプロセス）を開始しました。

2024年2月、レポートによると、同社はMTIAチップの第2世代を展開する計画を立てていました。

InstagramとWhatsAppを所有する同社は、2025年の総費用を1,140億ドルから1,190億ドルと予測しており、そのうち最大650億ドルはAIインフラへの支出に起因する資本支出を含む。

Metaの経営陣は、2026年までにAIシステムに大量のデータを入力して動作を教える計算集約型のプロセスであるトレーニングのために自社チップの使用を開始したいと考えていると報じられています。

推論チップと同様に、トレーニングチップの目標は、まずレコメンデーションシステムから始め、後にチャットボット「Meta AI」などの生成AI製品に使用することです。

先週、モーガン・スタンレーのテクノロジー、メディア、テレコム会議で、Metaの首席プロダクトオフィサークリス・コックスは、「レコメンデーションシステムのトレーニングをどのように行うか、そして最終的に生成AIのトレーニングと推論をどのように考えるかについて作業している」と述べた。

Metaのチップ開発努力についてコメントしたCox氏は、これまでの状況を「段階的に歩行、這い這い、走るといった状況」と表現しました。しかし、彼は経営陣が第1世代の推論チップの推奨を「大きな成功」と見なしていると述べました。