スタンフォード大学とワシントン大学の研究者が50ドルのオープンソースChatGPT o1のライバルを開発

スタンフォード大学とワシントン大学のAI研究者らは、誰も不可能だと思っていたことを成し遂げたとされ、50ドル未満のクラウドコンピューティングクレジットで「s1」と呼ばれるAIモデルを構築したと、月曜日に発表された研究報告で発表された。.

s1モデルは、 と報告されている 。さらに嬉しいことに、プロジェクト全体（コード、データなどすべて）がGitHubで公開されている。

チームは、新しいものを作るのではなく、既存のモデルを採用することから始めました。そこから、蒸留と呼ばれるプロセスを経て、微調整を加えました。彼らの研究によると、彼らはGoogleのGemini 2.0 Flash Thinking Experimentalモデルから推論能力を抽出したとのことです。.

彼らは、ジェミニの解答から学習することで、s1をジェミニの問題解決手法を模倣するように訓練した。「私たちはシンプルさを目指しました」と、この研究に参加したスタンフォード大学の研究者の一人、ニクラス・ミュニホフ氏は述べた。.

小さなデータセット、大きな成果

コスト削減を目指すAIチームにとって、蒸留は急速に選択肢となりつつあります。先月、バークレー大学の研究者が開発した同様のAIモデルの学習コストは450ドルでしたが、業界標準からすれば依然として安価です。しかし、スタンフォード大学とワシントン大学はさらに一歩進み、より小規模なデータセットと合理化された手法を用いてモデルを蒸留することで、コストを約50ドルにまで削減しました。.

研究者たちは、GoogleのGemini 2.0から1,000個の質問を厳選し、それぞれに詳細な回答と段階的な推論を組み合わせました。このデータセットは、s1が高度なパフォーマンスを発揮するために必要なすべての知識を提供しました。研究チームの論文によると、このモデルは問題を深く考える方法を学習しました。.

この成功の鍵となったのは、教師あり微調整（SFT）でした。研究者たちは、膨大なデータセットと膨大な計算能力を必要とする強化学習ではなく、データセット内の行動を模倣するようにAIを直接訓練するSFTを選択しました。これはより安価で高速であり、今回のケースではうまく機能しました。.

ベースモデルは、アリババ傘下のAIラボQwenから提供されました。Qwenの既成モデルは無料でダウンロードできるため、プロジェクトの予算はさらに抑えられました。チームはわずか16基のNvidia H100 GPUを使用し、30分足らずでs1の学習を完了しました。「必要なコンピューティングリソースは、現在では約20ドルでレンタルできます」とミューニホフ氏は述べています。.

「待機」コマンドはS1の精度を向上させた

研究者たちは、s1の推論能力を向上させるために巧妙なトリックを組み込んだと報告されています。それは、問題解決中に「待つ」という単語を追加するというものです。モデルに一時停止と再確認を指示することで、精度が向上しました。研究論文では、この調整によってs1がより良い回答を提出する前に検討するのに十分な時間を確保できたことが詳しく説明されています。.

OpenAIは注視している。彼らは既に、DeepSeekが自社のAPIからデータを不正に収集し、AIの競合相手を構築したと非難している。S1がいかに低コストで複製が可能かを示したことで、OpenAIのような大手企業は快く思っていない。AIモデルのコモディティ化は、彼らの収益に悪影響を及ぼす可能性がある。.

しかし、このテック企業には別の問題もある。火曜日、イーロン・マスク氏の弁護団はオークランド連邦裁判所でOpenAIと対決した。OpenAIの初期投資家であるイーロン氏は、同社が非営利の使命を放棄し、当初の目標を裏切ったと主張している。.

彼は、OpenAIの完全営利事業への移行を阻止するために訴訟を起こしている。イーロンの弁護士マーク・トベロフ氏は金曜日、裁判所に対し、イーロンがOpenAIの設立から2018年の間に4500万ドルを投資したのは、当初の約束通り、OpenAIが常に利益よりも公共の利益を優先すると信じていたためだと述べた。.

イヴォンヌ・ゴンザレス・ロジャーズ判事はこれを「無理やり」と呼び、イーロンがなぜ書面によるtracなしにこれほどの金額を投資したのかと疑問を呈した。「握手だけで多額の金を払うなんて」と彼女は嘲笑した。その後、トベロフ弁護士は、当時イーロンとOpenAIのCEOサム・アルトマンは親しい関係にあり、すべては信頼に基づいて築かれていたと説明した。.

しかし、この訴訟はまだ終わっていない。判事はOpenAIとMicrosoftの緊密な関係を懸念している。LinkedInの共同創業者であるリード・ホフマン氏とMicrosoft幹部のディアナ・テンプルトン氏という二人の主要人物がOpenAIの取締役会に関わっていた。テンプルトン氏は2023年にアルトマン氏が短期間解任された後、議決権のない取締役として取締役会に加わったが、その後、独占禁止法違反の懸念から解任された。.

イーロンは彼らの計画を阻止し、自身のAIベンチャー企業であるxAIを通じて同社の経営権をさらに強化したいと望んでいる。彼は同社を原告として挙げている。OpenAIは、イーロンの要求は同社の事業にripple 及ぼし、「無理のある」主張に基づいていると主張している。.