Alibabaの新しい手法により、AI検索のコストがほぼ 90% 削減

アリババ・グループ・ホールディングは、検索に特化した人工知能（AI）モデルのトレーニングコストをほぼ90%削減する方法を見出したと述べています。

In a 論文 先週arXivサーバーに投稿された論文で、中国のテクノロジー企業の研究者らは、「ZeroSearch」と呼ばれるトレーニングのショートカットを説明しています。これは、大規模言語モデル（LLM）が低コストで検索スキルを向上させることを可能にします。

アリババは、このアプローチが強化学習において最も高コストなステップの一つ、すなわち、何万ものクエリを有料のアプリケーションプログラミングインターフェース（API）経由でルーティングするステップを排除すると主張しています。

ZeroSearchは、そのようなボトルネックを活用します。広範な知識ベースを既に備えた参照モデルが、検索エンジンの代わりとして機能し、各クエリに対して有用な文書と意図的にノイズの多い文書の両方を生成します。その後、新しいモデルはこれらの自作のノイズの多い文書を用いてトレーニングされます。

ファインチューニングは、明確な言葉遣いのプロンプトとクリーンな回答から始まります。時間の経過とともに、「カリキュラムロールアウト」によってノイズ、誤字、矛盾が追加され、トレーニング対象のモデルがオープンインターネットに近い環境を経験するようにします。

論文によると、データのノイズは推論を強化し、システムが雑多なデータ環境で生き残る方法を教えます。 「私たちの主要な洞察は、LLMは大規模な事前トレーニングの過程で広範な世界知識を獲得しており、検索クエリに対して関連する文書を生成する能力を持っていることです」と研究者は説明しています。

チームは、各クエリに対して外部プロバイダーに支払う必要はありません。この変更は、限られたリソースしか持たない小規模なチームにとって特に重要です。 例えば、APIを介してGoogleに64,000件のクエリを送信するには、約586.70米ドルのコストがかかります。同じトレーニングを140億パラメータの AIモデル モデルで実行すると、コストは約US$70.80となり、88% の節約になります。

アリババのZeroSearchには追加のハードウェアは不要

チームによると、ZeroSearchは追加のハードウェア要件を追加しません。標準的な教師ありファインチューニングに依存するため、クラウドコンピューティングのニーズは典型的な開発予算の範囲内に留まります。

この論文は、すでに学術的な機械学習の分野で注目を集めています。業界の観察者は、この節約が来年の財務年度における今後の予算策定に影響を与える可能性があると述べています。

業界の競合他社は、新しい生成AI製品を推進する中で、大規模言語モデルのトレーニングコストを削減するために競争を繰り広げています。

アリババの新しい機能 は、GoogleやOpenAIなどの米国企業と中国企業が競争している状況で登場しました。両社はAIエージェントに多額の投資を行っており、アリババはコストを約10分の1に削減したと報告することで、AI検索のコストが間もなくシフトする可能性を示唆しています。