AIトレーニングモデルの隠れたコスト

現代のAIモデルの構築とサポートには多額の投資が必要であり、その額は数億ドルを超える可能性がある。推定では、これらのコストは近い将来10億ドルに達する可能性がある。 

この支出の主な原因はコンピューティングパワーであり、NvidiaのGPUなどが使用され、1台あたり約3万ドルのコストがかかるが、効率的に運用するにはさらに数千台が必要となる場合がある。研究者たちは、そのようなモデルの開発に使用されるトレーニングデータセットの質と量が非常に重要であると述べている。 

業界のリーダーたちが明かすAI開発の桁外れなコスト

OpenAIのジェームズ・ベッカー氏によると、モデルの性能はモデルの設計やアーキテクチャではなく、トレーニングデータに依存する関数である。彼の主張は、大規模データセットで訓練されたモデルは同じ結果に達するというものである。したがって、データはAI技術の進歩における鍵である。

AI企業Anthropic AIのCEOであるダリオ・アモダイ氏は、ポッドキャスト「In Good Company」でこれらの課題の財務面に関する洞察を共有した。彼は、ChatGPT-4などの現在のモデルのトレーニングには約1億ドルのコストがかかると推定されており、将来のモデルのトレーニングには今後数年間で100億〜1000億ドルが必要になる可能性があると述べた。

生成AIモデル、および大手企業が作成したモデルは、本質的に統計モデルである。したがって、最も確からしい結果を予測するために多くの例を使用する。AI研究所（AI2）のKyle Lo氏は、トレーニング環境が一定である場合、性能の向上は主にデータに起因すると述べている。 

データの集中化は倫理およびアクセシビリティの懸念を引き起こす

高品質なデータを入手するための高額なコストにより、AIの開発は先進国における少数の大企業に独占されつつある。このリソースの集約は、AI技術の利用可能性と悪用の可能性に関する懸念の源でもある。 

OpenAI aloneはデータライセンスに数億ドルを費やしており、Metaはデータアクセスのために出版社の買収を検討している。AIトレーニングデータの市場は拡大すると予想されており、データブローカーはこの機会から利益を得る可能性が高い。 

疑わしいデータ取得慣行に起因する問題が生じている。報告によると、多くの企業がそのようなコンテンツの所有者の承認なしに大量のコンテンツを取得しており、一部の企業は異なるプラットフォームからデータを収集し、ユーザーに報酬を支払っていない。以前私たちが報じたように、OpenAIはWhisper音声文字起こしモデルを使用して、GPT-4のファインチューニングのために100万時間以上のYouTube動画を文字起こしした。

組織はオープンアクセスのAIトレーニングデータセットの作成に取り組んでいる

データ取得競争がいくつかの問題を呈しているため、トレーニングデータセットを公開するために独立した当事者からの取り組みが必要である。EleutherAIやHugging Faceなどのいくつかの組織は、AI開発のために一般公開される大規模データセットを作成している。

ウォール・ストリート・ジャーナルは最近、データ取得の問題を解決するための2つの潜在的な戦略、すなわち生成データ生成とカリキュラム学習を強調した。合成データはAIモデル自体を使用して作成される一方、カリキュラム学習は、モデルがより少ないデータでも接続できるように、構造化された方法で高品質なデータをモデルに提供しようとする。しかし、両方の方法はまだ開発段階にあり、その有効性はまだテストされていない。