DeepSeek は AI モデルのトレーニングコストとして $294,000 を明らかにしました

中国の DeepSeek は、R1 と呼ばれる主力 AI システムのトレーニングコストがわずか 294,000 ドルであると主張しており、これは米国の競合他社が費やすと見なされている額のわずか一部です。

詳細は今週、Nature で査読付き論文として公開され、北京のグローバル AI ランレースにおける野心をめぐる議論にさらに火をつける可能性があります。杭州に拠点を置く同社は、推論に焦点を当てたモデルが 512 個の Nvidia H800 チップを使用してトレーニングされたと言いました。このハードウェアは、米国がより強力な H100 および A100 プロセッサの販売を禁止した後に、中国向けに特別に設計されました。

創業者の Liang Wenfeng が共同著者であるこの論文は、同社がこのようなコストを開示した初めてのケースです。

DeepSeek は米国のモデルのコストのわずか fraction を使用

1 月、DeepSeek の手頃な価格の AI ツールの公開により世界市場が混乱し、確立された巨人である Nvidia や OpenAI を凌駕する可能性のある懸念から、テック株の売りが発生しました。

しかし、Liang と彼のチームは低いプロファイルを保っており、それ以来、散発的な製品アップデートのみで姿を見せています。

報告された 294,000 ドルの価格タグは、米国の企業の推定値とは対照的です。

OpenAI の最高経営責任者、Sam Altman は 2023 年に次のように述べています。「基盤モデルのトレーニングには 1 億ドル以上がかかります。」しかし、彼は具体的な内訳を開示しませんでした。

大規模言語モデル のトレーニングには、テキストやコードを処理するために、強力なチップのバンクを長時間稼働させる必要があり、膨大な量の電力を消費します。業界の観察者は長年、このようなプロジェクトの費用が数千万、あるいは数億ドルにのぼると想定してきました。

その想定は現在挑戦されており、DeepSeek は補足文書で、A100 チップを所有しており、大規模なトレーニングを H800 クラスタに移行する前に初期開発で使用していたことを認めています。同社によると、モデルは最終トレーニング段階で 80 時間稼働しました。

Nvidia が中国のスタートアップが H800 プロセッサにのみアクセスできると主張しているにもかかわらず、米国の当局者は懐疑的です。数ヶ月前、米国の情報筋は Reuters に対し、DeepSeek が中国への輸出禁止対象である H100 チップの大量を違法に所有していると語りました。

革新を顕微鏡で観察する

R1 は、その低いトレーニングコストだけでなく、正式な査読を受ける最初の主要モデルである可能性もあるため、注目を集めています。

「これは非常に歓迎される前例であり、もし共有の規範がなければ、リスクを評価するのは非常に困難になります」と、Nature の論文をレビューした Hugging Face の機械学習エンジニアである Lewis Tunstall は述べています。

レビュープロセスにより、DeepSeek はモデルのトレーニング方法や安全対策がどのように整えられているかといった技術的な詳細を明確にしました。

「厳格な査読プロセスを通過することは、モデルの有効性と有用性を検証するのに確かに役立ちます」と、オハイオ州立大学の AI 研究者である Huan Sun は述べています。

DeepSeek の主要なブレークスルーは、純粋な 強化学習アプローチ を使用することにありました。論文によると、人間のキュレーションされた推論例に依存するのではなく、モデルは問題を正しく解決した際に報酬を受け、徐々に独自の解決戦略を発展させました。

同社は、この試行錯誤システムにより、R1 が人間の戦術をコピーせずにその動作を検証できたと述べています。

「このモデルは非常に影響力があります」と Sun は付け加えました。「2025 年の強化学習のほとんどは、R1 に影響を受けたものかもしれません。」

DeepSeek はコピーの主張を否定

R1 のリリース直後、DeepSeek がトレーニングを加速させるために競合他社の出力、特に OpenAI の出力に依存したという憶測が巻き起こりましたが、同社は現在その主張を明確に否定しています。

審査員との書簡において、DeepSeek は R1 が OpenAI によって生成された推論例をコピーしていないと主張しました。しかし、ほとんどの大規模言語モデルと同様に、インターネットのテキストでトレーニングされました。これは、一部の AI 生成コンテンツが必然的に含まれていたことを意味し、この説明は一部の審査員を説得しました。

「R1 が OpenAI の例でトレーニングされていないことを 100% 確信することはできません。しかし、他のラボによる複製試行は、強化学習がそれ自体で十分であることを示唆しています」と Tunstall は述べています。

DeepSeek は、R1 がコーディングや数学などの推論重視のタスクで卓越するように構築されていると述べています。米国の企業が開発したほとんどのクローズドシステムとは異なり、これはオープンウェイトモデルとしてリリースされ、研究者が自由にダウンロードできます。AI コミュニティサイト Hugging Face では、すでに 1,000 万回以上ダウンロードされています。

同社は R1 の基盤となるベースモデルの開発に約 600 万ドルを費やしましたが、それを加えても、そのコストは競合他社に関連する額に遠く及びません。多くの関係者にとって、それが R1 を魅力的にしています。

Sun と同僚たちは最近、科学データタスクでシステムをテストし、最も正確ではないものの、コスト対パフォーマンスの点では最高クラスの発見をしました。