Alibaba Group Holdingは、検索に焦点を合わせた人工知能モデルのトレーニングのコストをほぼ90％縮小する方法を見つけたと述べています。
先週ARXIVサーバーに投稿された論文で
Alibabaは、このアプローチは、強化学習における最も高価なステップの1つを削除すると主張します。これは、有料アプリケーションプログラミングインターフェイスを通じて数万のクエリをルーティングします。
Zerosearchは、そのようなボトルネックを使用します。すでに幅広いナレッジベースを保持している参照モデルは、クエリごとに有用で意図的にノイズの多いドキュメントの両方を生成します。その後、新しいモデルは、これらの自己メイドの騒々しい文書でトレーニングされます。
微調整は、はっきりと表現されたプロンプトとクリーンな答えから始まります。時間が経つにつれて、「カリキュラムロールアウト」は乱雑、タイプミス、矛盾を追加し、研修生モデルがオープンなインターネットに近い何かを体験するようにします。
論文によると、データノイズは推論を強化し、乱雑なデータ環境で生存するようシステムを教えています。 「私たちの重要な洞察は、LLMSが大規模な事前トレーニング中に広範な世界知識を獲得し、検索クエリを考慮して関連文書を生成できることです」と研究者は説明します。
チームは、クエリごとに外部プロバイダーに支払う必要はありません。この変更は、リソースが限られている小さなチームにとって特に重要です。たとえば、APIを介して64,000のクエリをGoogleに送信するには、約586.70米ドルの費用がかかります。 140億パラメーターAIモデル、約70.80米ドルで、88％の節約があります。
AlibabaのZerosearchは追加のハードウェアを必要としません
チームのZerosearchは、ハードウェアの要求を追加しないと主張しています。標準的な監視施設に依存しているため、クラウドコンピューティングのニーズは、一般的な開発予算の範囲内にとどまります。
この論文は、すでに学術機械学習サークル内で注目を集めています。業界のオブザーバーは、貯蓄が今後の会計年度中に今後の予算サイクルに影響を与える可能性があると言います。
業界のライバルは、新しい生成AI製品をプッシュする際に、大規模な言語モデルトレーニングのコストを削減するために競っています。
Alibabaの新機能は、中国企業がGoogleやOpenaiなどの米国企業と競争するにつれて到着します。どちらもAIエージェントに多額の投資を行っています。ほぼ倍数のコスト削減を報告することにより、AlibabaはAI検索のコストがまもなく変化する可能性があることを示しています。
Cryptopolitan Academy：2025年にあなたのお金を育てたいですか？今後のWebClassでDeFiでそれを行う方法を学びますあなたのスポットを救ってください
