DeepSeekがmHCを公開するも、ピアレビューの障壁に直面

AIの開発と維持のコスト増大と利用可能なハードウェアの制限という問題がある時期に、DeepSeekは人工知能（AI）の開発とスケーリングのための新しい計画を提示しました。

中国のスタートアップ企業は、チップ数を増やし、電力消費を増やすことなく、大幅に優れたAIモデルを作成できると信じています。提案されたmHC概念は多くの研究者から注目を集めていますが、一般的にはまだ初期段階であると見なされています。

より大きなAIシステムの開発におけるこのアプローチの利点を決定するには、さらなる研究が必要です。mHC概念の詳細を記載した技術論文が先週リリースされ、DeepSeekの創設者兼CEOであるLiang Wenfengが共著者となっています。

DeepSeek、AIのスケーリングのためのネットワーク設計を再考

作業の主要なコンポーネントの一つは、多層ニューラルネットワークのさまざまな層間の情報の転送方法の再評価です。

ニューラルネットワークの各層は、モデル内の次の層へ処理された情報の形態を渡すことで、いわゆる「残差学習ネットワーク」（ResNet）を作成します。Microsoft ResearchのKaiming Heらによって約10年前に開発されたResNetは、今日の最も高度なAIシステムのいくつかの基本的な基盤を提供しました。

DeepSeekによって開発された概念は、ByteDanceが2024年にハイパー・コネクションを導入した後に作成されました。ハイパー・コネクションにより、情報は単一の主要なパスだけでなく、ネットワーク内の複数の経路を移動でき、これにより学習速度と経験の豊かさが向上します。

しかし、有益である一方で、モデルがトレーニングの不安定性または完全な失敗を経験する問題のあるトレーニング事象を引き起こす可能性があります。

香港城市大学のSong Linqi氏によると、DeepSeekの研究は既存のアイデアの進展であり、ゼロから何かを発明するのではなく、DeepSeekが他社の仕事を見る方法の継続です。

ResNetは1車線の高速道路に例えられ、ハイパー・コネクションは多車線の高速道路に似ていますが、Song氏は、適切なルールなしで複数の車線を持つことは、より多くの衝突につながる可能性があると警告しました。

香港科学技術大学のGuo Song教授は、この研究論文がAI研究の行動変化を示している可能性があると信じています。既存のモデルの設計に小さな修正を加え続けるのではなく、研究は理論的構成に基づいた新しいモデルの開発へと進化していくと感じています。

研究者がmHCをテストするが、実用的な懸念を提起

ディープラーニングにおけるmHCのテストで最近のマイルストーンが達成されたことへの興奮とは別に、専門家は研究がまだ完了していないことを強調しています。DeepSeekが提供したテストでは、270億パラメータのモデルをテストする際に、データの4つのパスのみが使用されました。

「実験は270億パラメータまでのモデルを検証しましたが、今日の前線モデル、つまり桁違いに大きなモデルではどのように機能するでしょうか？」

Guo Song教授。

現在利用可能なAIモデルはより大きく、数年前の標準であった300億パラメータと比較して、通常は数千億パラメータを持っています。

Guo氏はこれらの感情に同意し、mHCがAI技術の前線で作業を実行できるかどうかを結論づけることはまだできないと述べました。また、mHCが機能するために必要なインフラストラクチャは、小規模な研究機関が使用するには高度すぎ、企業がモバイルデバイスで利用するには不適切である可能性があると述べました。

Cryptopolitanによると、DeepSeekの人気は、DeepSeek V3大規模言語モデルのリリースに由来し、その数週間後にDeepSeek-R1推論モデルがリリースされたことにも起因します。

ベンチマークテスト中に競合他社とモデルの結果を比較すると、両方のモデルは、他の競合言語モデルで使用されたトレーニングデータのわずか fraction でリリースされたにもかかわらず、競合他社の結果に到達または上回ることができました。