AIトレーニングモデルの隠れたコスト

最新のAIモデルの構築とサポートには、数億ドルを超える多額の投資が必要です。近い将来、これらのコストは10億ドルに達する可能性があると推定されています。. 

この支出は主に、NVIDIA GPUなどのコンピューティング能力に起因します。これらの機器は1台あたり約3万ドルかかる場合があり、効率化にはさらに数千ドルかかることもあります。研究者たちは、このようなモデルの開発に用いるトレーニングデータセットの質と量が非常に重要であると述べています。. 

業界リーダーがAI開発の驚異的なコストを明らかに

OpenAIのジェームズ・ベトカー氏によると、モデルの性能はモデルの設計やアーキテクチャではなく、学習データによって決まるという。彼は、 主張 している。したがって、データはAI技術の進歩の鍵となる。 

AI企業Anthropic AIのCEO、ダリオ・アモデイ氏は、In Good Companyのポッドキャストで、これらの課題の経済的側面に関する見解を共有しました。アモデイ氏は、ChatGPT-4などの現在のモデルの学習には約1億ドルの費用がかかると推定されており、将来モデルの学習には今後数年間で100億ドルから1,000億ドルの費用がかかる可能性があると述べました。.

生成AIモデル、特に大企業が開発するモデルは、本質的に統計モデルです。そのため、多くの事例を用いて最も可能性の高い結果を予測します。アレンAI研究所（AI2）のカイル・ロー氏は、特に学習環境が一貫している場合、パフォーマンスの向上は主にデータによるものだと述べています。. 

データの集中化は倫理的およびアクセス性に関する懸念を引き起こす

高品質なデータの入手コストの高さから、AI開発は先進国における少数の大企業に独占されつつあります。こうしたリソースの集中は、AI技術の可用性と悪用の可能性に関する懸念材料にもなっています。. 

OpenAIだけでもデータライセンスに数億ドルを費やしており、Metaはデータアクセスのために出版社の買収を検討しています。AIトレーニングデータ市場は拡大すると予想されており、データブローカーはこの機会から利益を得る可能性が高いでしょう。. 

問題は、疑わしいデータ収集方法から生じます。報道によると、多くの企業がコンテンツの所有者の許可なく大量のコンテンツを取得しており、中には複数のプラットフォームからデータを活用しながらユーザーに報酬を支払っていない企業もあります。以前お伝えしたように、OpenAIはWhisper音声文字変換モデルを用いて100万時間以上のYouTube動画を書き起こし、GPT-4を微調整しました。.

組織はオープンアクセスのAIトレーニングデータセットの作成に取り組んでいます

データ収集競争にはいくつかの問題があるため、トレーニングデータセットをオープンに利用できるようにするためには、dent した団体による取り組みが必要です。EleutherAIやHugging Faceなどの組織は、AI開発のために公開できる大規模なデータセットを作成しています。.

ウォール・ストリート・ジャーナルは最近、データ取得の課題を解決するための2つの戦略、すなわち生成的データ生成とカリキュラム学習に注目しました。合成データはAIモデル自身を用いて生成されますが、カリキュラム学習は、モデルが少ないデータ量でも関連付けを行えるよう、高品質なデータを構造化された方法で提供しようとします。しかし、どちらの手法もまだ開発段階にあり、その有効性はまだ検証されていません。.