Forscher von Stanford und UW bauen 50-US-Dollar-Open-Source-ChatGPT-o1-Rivalen
- Stanford und die UW haben ein KI-Modell namens s1 für nur 50 $ entwickelt, das in Mathematik-, Logik- und Coding-Tests mit OpenAIs o1 mithalten kann.
- Das Team nutzte das Gemini-2.0-Modell von Google und eine kostengünstige Trainingsmethode namens Distillation; den gesamten Code wurde open-source auf GitHub bereitgestellt.
- Große Player wie OpenAI sind nicht begeistert, da sie befürchten, dass kostengünstige Nachbauten ihre milliardenschweren Investitionen ins Wanken bringen könnten.
KI-Forscher der Stanford University und der University of Washington haben angeblich das geschafft, was niemand für möglich hielt – sie bauten ein KI-Modell namens s1 für weniger als 50 US-Dollar an Cloud-Computing-Guthaben, laut einem am Montag veröffentlichten Forschungsbericht.
Das s1-Modell berichtet, dass es eine Leistung auf Augenhöhe mit Top-Tier-Reasoning-Modellen liefert, einschließlich OpenAIs o1 und DeepSeeks R1, laut Benchmarks in Mathematik- und Codetests. Noch besser: Das gesamte Projekt ist auf GitHub verfügbar – Code, Daten und alles.
Das Team begann damit, ein Standardmodell zu verwenden, anstatt etwas Neues zu bauen. Von dort aus feinjustierten sie es durch einen Prozess namens Distillation. Laut ihrer Forschung distillierten sie die Reasoning-Kraft aus Googles Gemini 2.0 Flash Thinking Experimental-Modell.
Sie trainierten s1, um Geminis Problemlösungstechniken zu imitieren, indem sie aus dessen Antworten lernten. „Wir strebten Einfachheit an“, sagte Niklas Muennighoff, einer der beteiligten Stanford-Forscher.
Kleiner Datensatz, große Ergebnisse
Distillation wird schnell zur Waffe der Wahl für KI-Teams, die Kosten senken wollen. Ein ähnliches KI-Modell, das letzten Monat von Berkeley-Forschern entwickelt wurde, kostete 450 US-Dollar im Training – immer noch günstig nach Branchenstandards. Aber Stanford und UW gingen einen Schritt weiter und reduzierten die Kosten auf etwa 50 US-Dollar, indem sie ihr Modell mit einem kleineren Datensatz und optimierten Techniken distillierten.
Die Forscher handpickten nur 1.000 Fragen, jede gepaart mit detaillierten Antworten und schrittweiser Reasoning von Googles Gemini 2.0. Dieser Datensatz lieferte das gesamte Wissen, das s1 benötigte, um auf hohem Niveau zu performen. Laut dem Papier des Teams lernte das Modell, wie man Probleme durchdenkt.
Supervised Fine-Tuning (SFT) war der Schlüssel, um dies zum Laufen zu bringen. Anstatt Reinforcement Learning zu verwenden, das riesige Datensätze und viel Rechenleistung erfordert, entschieden sich die Forscher für SFT, eine Methode, bei der die KI direkt darauf trainiert wird, Verhaltensweisen zu imitieren, die im Datensatz gefunden werden. Es ist günstiger und schneller, und in diesem Fall hat es funktioniert.
Das Basismodell stammte von Qwen, dem KI-Labor von Alibaba. Ihr Standardmodell war kostenlos zum Download, was das Projekt noch budgetfreundlicher machte. In weniger als 30 Minuten und unter Verwendung von nur 16 Nvidia H100 GPUs beendete das Team das Training von s1. „Wir könnten die notwendige Rechenleistung heute für etwa 20 US-Dollar mieten“, sagte Muennighoff.
„Wait“-Befehl steigerte s1’s Genauigkeit
Die Forscher fügten angeblich einen cleveren Trick hinzu, um s1’s Reasoning zu verbessern: Sie fügten das Wort „wait“ während der Problemlösung ein. Indem sie dem Modell sagten, innezuhalten und seine Arbeit zu überprüfen, erhöhten sie die Genauigkeit. Das Forschungs-paper beschreibt detailliert, wie diese Änderung s1 genug Zeit gab, bessere Antworten zu berücksichtigen, bevor sie eingereicht wurden.
OpenAI beobachtet genau. Sie haben DeepSeek bereits beschuldigt, Daten von ihrer API unrechtmäßig gesammelt zu haben, um KI-Wettbewerber zu bauen. Mit s1, das zeigt, wie günstig Replikation sein kann, sind große Spieler wie OpenAI nicht begeistert. Die Kommodifizierung von KI-Modellen könnte ihre Gewinnmargen schädigen.
Aber das Tech-Unternehmen hat andere Probleme. Am Dienstag stand Elons Musk Rechtsanwaltsmannschaft OpenAI in einem Bundesgericht in Oakland gegenüber. Elon, der ein früher Investor in OpenAI war, behauptet, das Unternehmen habe seine gemeinnützige Mission aufgegeben und seine ursprünglichen Ziele verraten.
Er klagt, um den Übergang zu einem vollständig gewinnorientierten Unternehmen zu blockieren. Elons Anwalt, Marc Toberoff, sagte dem Gericht am Freitag, Elon habe zwischen der Gründung und 2018 45 Millionen US-Dollar in OpenAI investiert, weil er glaubte, dass es immer den öffentlichen Nutzen vor Gewinnen stellen würde, genau wie es zu Beginn behauptete.
Richterin Yvonne Gonzalez Rogers nannte das eine „Dehnung“ und fragte, warum Elon überhaupt so viel Geld investieren würde, ohne einen schriftlichen Vertrag. „Das ist einfach zu viel Geld für einen Handschlag“, spottete sie. Anwalt Toberoff erklärte daraufhin, dass Elon und OpenAI-CEO Sam Altman zu dieser Zeit eine enge Beziehung hatten und alles auf Vertrauen basierte.
Doch der Fall ist noch nicht tot. Die Richterin ist besorgt über die enge Beziehung von OpenAI zu Microsoft. Zwei Schlüsselfiguren – LinkedIn-Mitbegründer Reid Hoffman und Microsoft-Executive Deanna Templeton – waren in den Vorstand von OpenAI involviert. Templeton wurde nach Altmans kurzzeitiger Absetzung im Jahr 2023 als stimmberechtigtes Mitglied hinzugefügt, später jedoch aufgrund von Kartellbedenken wieder entfernt.
Elon will deren Pläne stoppen und möglicherweise mehr Kontrolle über das Unternehmen durch sein eigenes KI-Unternehmen xAI erlangen, das er als Kläger in den Fall einbrachte. OpenAI argumentiert, dass Elons Antrag sein Geschäft lähmen würde und auf „weit hergeholten“ Behauptungen beruht.
Wenn Sie dies lesen, sind Sie bereits einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Jai Hamid
Jai Hamid berichtet seit sechs Jahren über Kryptowährungen, Aktienmärkte, Technologie, die globale Wirtschaft und geopolitische Ereignisse, die die Märkte beeinflussen. Sie hat für auf Blockchain spezialisierte Publikationen wie AMB Crypto, Coin Edition und CryptoTale Marktanalysen, Berichte über große Unternehmen, Regulierung und makroökonomische Trends verfasst. Sie hat die London School of Journalism besucht und dreimal Krypto-Marktanalysen in einem der führenden Fernsehsender Afrikas vorgestellt.
