マイクロソフトCTOがAIスケーリング法を擁護

Sequoia Capital の Training Data ポッドキャストでの最近のインタビューで、Microsoft CTO の Kevin Scott 氏は、大規模言語モデル (LLM) のスケーリング法則の永続的な価値に対する信念を改めて表明しました。. 

関連記事： リスクと検査結果を強調する「安全ラベル」機能を搭載したAIアプリ

マイクロソフトとOpenAI間の130億ドルの取引で重要な役割を果たしたスコット氏は、今後の進歩の可能性について依然として楽観的な見方を保っている。彼は、 応えた スケーリング則という概念はAI分野において依然として重要であると述べ、現在進行中の議論に 

OpenAIの研究はスケーリングのメリットを裏付けている

2020年にOpenAIの研究者らが提唱したLLMスケーリング則は、言語モデルの効率はモデルのサイズに比例して増加すると述べている。スコット氏は収穫逓減の法則を否定し、指数関数的成長を達成することは依然として可能だが、それを実現するには次世代のスーパーコンピュータが必要になるかもしれないと述べた。. 

一部の学者はスケーリング則の持続可能性に疑問を呈していますが、OpenAIは依然としてそれをAI計画の重要な要素として頼りにしています。スコット氏の発言は、これらの原則に対するマイクロソフトのアプローチと一致しており、このテクノロジー大手はより大規模なAIモデルの開発を中止するつもりがないことを示唆しています。.

AIコミュニティが将来のモデル改善について議論

スコット氏の立場は、AIの成長はGPT-4やその他の類似モデルで止まったと考える一部のAI批評家とは全く正反対だ。批評家の中には、GoogleのGemini 1.5 ProやAnthropicのClaude Opusといった最新モデルが、以前のモデルと比べて大きな進歩を見せていないと指摘する者もいる。AI批評家のゲイリー・マーカス氏は を取り上げ 、GPT-4のリリース以降、大きな進歩が見られないことに疑問を呈した。 

それでも、スコット氏は新たな発見の可能性について楽観的です。AIにはデータポイントが少ないという事実も認めつつも、将来的にはそれが問題ではなくなると強調しました。.

「次のサンプルはもうすぐ届きますが、いつになるかは分かりませんし、どの程度良くなるか正確には予測できませんが、今脆い部分に関してはほぼ確実に改善されるでしょう。.”

ケビン・スコット

マイクロソフトがOpenAIに多額の資金を投じていることは、LLMの将来的な発展に対する同社の自信の表れである。AI機能の中にはMicrosoft Copilotも含まれており、dent 同社がAIの活用改善に熱心であることtron評論家の 述べた 、ある程度、人々がAIに過剰な期待を抱いているために、AIは停滞している可能性があると