Sequoia Capital の Training Data ポッドキャストでの最近のインタビューで、Microsoft CTO の Kevin Scott 氏は、大規模言語モデル (LLM) のスケーリング法則の永続的な価値に対する信念を改めて表明しました。.
関連記事： AIアプリにリスクとテストを強調する「安全ラベル」機能を追加
マイクロソフトとOpenAI間の130億ドルの取引で重要な役割を果たしたスコット氏は、今後の進歩の可能性について依然として楽観的な見方を保っている。彼は、スケーリング則という概念はAI分野において依然として重要であると述べ、現在進行中の議論に応えた
OpenAIの研究はスケーリングのメリットを裏付けている
2020年にOpenAIの研究者らが提唱したLLMスケーリング則は、言語モデルの効率はモデルのサイズに比例して増加すると述べている。スコット氏は収穫逓減の法則を否定し、指数関数的成長を達成することは依然として可能だが、それを実現するには次世代のスーパーコンピュータが必要になるかもしれないと述べた。.
一部の学者はスケーリング則の持続可能性に疑問を呈していますが、OpenAIは依然としてそれをAI計画の重要な要素として頼りにしています。スコット氏の発言は、これらの原則に対するマイクロソフトのアプローチと一致しており、このテクノロジー大手はより大規模なAIモデルの開発を中止するつもりがないことを示唆しています。.
AIコミュニティが将来のモデル改善について議論
スコット氏の立場は、GPT-4などの類似モデルで成長が止まったと考える一部のAI批評家とは全く対照的です。一部の批評家は、GoogleのGemini 1.5 ProやAnthropicのClaude Opusといった最新モデルが、以前のモデルと比べて大きな進歩を見せていないと指摘しています。AI批評家のゲイリー・マーカス氏はを指摘し、GPT-4のリリース以来、大きな進歩が見られない現状に疑問を呈しました。
それでも、スコット氏は新たな発見の可能性について楽観的です。AIにはデータポイントが少ないという事実も認めつつも、将来的にはそれが問題ではなくなると強調しました。.
「次のサンプルはもうすぐ届きますが、いつになるかは分かりませんし、どの程度良くなるか正確には予測できませんが、今脆い部分に関してはほぼ確実に改善されるでしょう。.”
ケビン・スコット
マイクロソフトによるOpenAIへの巨額の資金提供は、法学修士課程（LLM）の将来的な発展に対する同社の自信の証です。AI機能の一つであるMicrosoft Copilotは、同社がAIの活用向上に熱心に取り組んでいることをdenttron、 AIが行き詰まっているのは、人々が過大な期待を寄せすぎているからかもしれないと述べています
