- スタンフォード大学とワシントン大学は、数学、論理、コーディングのテストにおいてOpenAIのo1に匹敵するAIモデル「s1」をわずか50ドルで構築しました。
- チームはGoogleのGemini 2.0モデルを使用し、「蒸留」と呼ばれる低コストなトレーニング手法を採用し、すべての成果をGitHub上でオープンソースとして公開しました。
- OpenAIなどの大手企業はこの動きに不満を抱いており、低コストの複製品が彼らの数十億ドル規模の投資を脅かす可能性を懸念しています。
スタンフォード大学とワシントン大学のAI研究者たちは、誰も不可能だと思っていたことを成し遂げた allegedly とされています。彼らは、月曜日に公開された研究レポートによると、クラウドコンピューティングクレジットで50ドル未満でs1という名前のAIモデルを構築しました。
s1モデルは、数学およびコーディングテストにおけるベンチマークによると、OpenAIのo1やDeepSeekのR1を含むトップティアの推論モデルと同等のパフォーマンスを提供する reportedly と報告されています。さらに良いことに、プロジェクト全体がGitHub上で利用可能であり、コード、データ、すべてが公開されています。
チームは、新しいものを構築するのではなく、市販のモデルを取得することから始めました。そこから、蒸留と呼ばれるプロセスを通じてファインチューニングを行いました。彼らの研究によると、彼らはGoogleのGemini 2.0 Flash Thinking Experimentalモデルから推論力を蒸留しました。
彼らは、Geminiの問題解決技術を模倣するようにs1を訓練しました。これは、その回答から学ぶことで実現されました。「私たちはシンプルさを目指しました」と、このプロジェクトに関与したスタンフォードの研究者の一人であるNiklas Muennighoff氏は語りました。
小規模なデータセット、大きな結果
蒸留は、コスト削減を目指すAIチームの間で急速に選択武器になりつつあります。先月、バークレーの研究者によって開発された同様のAIモデルの訓練コストは450ドルでした。業界標準から見ればまだ安価ですが、スタンフォード大学とワシントン大学は、より小規模なデータセットと簡素化された技術を用いてモデルを蒸留することで、コストを約50ドルまでさらに削減しました。
研究者たちは、GoogleのGemini 2.0からの詳細な回答とステップバイステップの推論とペアになった1,000問の質問のみを手動で選びました。このデータセットは、s1が高レベルでパフォーマンスを発揮するために必要なすべての知識を提供しました。チームの論文によると、このモデルは問題解決の方法を学びました。
教師ありファインチューニング（SFT）がこれを可能にする鍵でした。巨大なデータセットと膨大なコンピューティングパワーを必要とする強化学習の代わりに、研究者たちはSFTを選択しました。これは、AIがデータセットに見られる行動を直接模倣するように訓練される手法です。これは安価で速く、このケースでは機能しました。
ベースモデルは、アリババが所有するAIラボであるQwenから提供されました。彼らの市販モデルは無料でダウンロードできたため、プロジェクトはさらに予算フレンドリーになりました。16台のNvidia H100 GPUのみを使用して、チームは30分未満でs1の訓練を完了しました。「現在、必要なコンピューティングリソースを約20ドルでレンタルできます」とMuennighoff氏は言いました。
「待て」コマンドがs1の精度を向上
研究者たちは、s1の推論力を向上させるための巧妙なトリックを含めたと報告されています。それは、問題解決中に「待て」という単語を追加することでした。モデルに一時停止して作業を再確認させることで、精度を向上させました。研究論文では、この微調整がs1により良い回答を提出する前に考慮する十分な時間を与えた方法が詳述されています。
OpenAIは注視しています。彼らはすでに、DeepSeekがAPIからデータを不正に収集してAI競合他社を構築したと非難しています。s1が複製がいかに安価であるかを示しているため、OpenAIのような大手企業は快く思っていません。AIモデルのコモディティ化は、彼らの収益に悪影響を及ぼす可能性があります。
しかし、そのテクノロジー企業には他の問題もあります。火曜日、イーロン・マスクの法務チームはオークランドの連邦裁判所でOpenAIと対峙しました。OpenAIの初期投資家であるイーロンは、同社が非営利ミッションを放棄し、当初の目標を裏切ったと主張しています。
彼は、同社が完全に営利企業への移行を阻止するために訴訟を起こしています。イーロンの弁護士であるマーク・トバーオフ氏は金曜日に、イーロンは設立から2018年までの間にOpenAIに4,500万ドルを投資したと裁判所に述べました。これは、同社が当初言ったように、利益よりも公共の利益を常に優先すると信じていたためです。
イヴォンヌ・ゴンザレス・ロジャーズ裁判官はそれを「無理がある」と呼び、イーロンが書面による契約なしでそこまで多額の資金を投資した理由を疑問視しました。「それはただの握手で多額の資金を扱うことになります」と彼女は皮肉りました。その後、トバーオフ弁護士は、イーロンとOpenAIのCEOであるサム・アルトマン氏が当時密接な関係にあり、すべてが信頼に基づいて構築されていたと説明しました。
しかし、この事件はまだ死んでいません。裁判官は、OpenAIとマイクロソフトの密接な関係について懸念を示しています。LinkedInの共同創設者であるリード・ホフマン氏とマイクロソフトの執行役員のディアナ・テンプルトン氏の2人の主要プレイヤーが、OpenAIの理事会に関与していました。テンプルトン氏は2023年のアルトマン氏の短期間の解任後に非投票メンバーとして追加されましたが、その後、独占禁止法の懸念により削除されました。
イーロンは、彼が原告として追加した自身のAIベンチャーであるxAIを通じて、同社の計画を阻止し、潜在的に同社に対するより多くのコントロールを得たいと考えています。OpenAIは、イーロンの要求がそのビジネスを麻痺させ、「ありえない」主張に基づいていると主張しています。
暗号通貨のニュースを読むだけでなく、それを理解しましょう。ニュースレターに登録してください。無料です。
免責事項。 ここに提供される情報は取引助言ではありません。 Cryptopolitan.com 当社は、このページに提供される情報に基づいて行われたいかなる投資に対しても責任を負いません。いかなる投資判断を下す前に、独立した調査および/または資格を有する専門家への相談を強く推奨します。
Jai Hamid
ジャイ・ハミドは、過去6年間、暗号通貨、株式市場、テクノロジー、世界経済、そして市場に影響を与える地政学的イベントを報道してきました。彼女は、AMB Crypto、Coin Edition、CryptoTaleなどのブロックチェーン専門出版物で、市場分析、大手企業、規制、マクロ経済動向に関する記事を担当してきました。ロンドン・スクール・オブ・ジャーナリズムを卒業し、アフリカ有数のテレビネットワークで3回にわたり暗号通貨市場の洞察を提供しています。
