Forscher der Stanford University und der University of Washington entwickeln für 50 Dollar ein Open-Source-Programm namens ChatGPT o1, das mit diesem Programm konkurrieren soll

KI-Forschern in Stanford und an der University of Washington ist angeblich etwas gelungen, was niemand für möglich gehalten hatte – sie haben ein KI-Modell namens s1 für weniger als 50 Dollar an Cloud-Computing-Guthaben gebaut, wie aus einem am Montag veröffentlichten Forschungsbericht hervorgeht.

Das s1-Modell laut Benchmarks in Mathematik- und Programmiertests eine vergleichbare Leistung wie führende Modelle für logisches Denken, darunter OpenAIs o1 und DeepSeeks R1. Noch besser: Das gesamte Projekt – inklusive Code, Daten und allem Drum und Dran – ist auf GitHub verfügbar.

Das Team griff zunächst auf ein fertiges Modell zurück, anstatt etwas Neues zu entwickeln. Anschließend optimierten sie es durch einen Prozess namens Destillation. Ihren Forschungsergebnissen zufolge extrahierten sie die Denkfähigkeit aus Googles Gemini 2.0 Flash Thinking Experimental-Modell.

Sie trainierten s1, die Problemlösungstechniken von Gemini nachzuahmen, indem sie aus dessen Antworten lernten. „Wir haben Einfachheit angestrebt“, sagte Niklas Muennighoff, einer der beteiligten Stanford-Forscher.

Kleiner Datensatz, große Ergebnisse

Die Datendestillation entwickelt sich rasant zu einer bevorzugten Methode für KI-Teams, die Kosten senken wollen. Ein ähnliches KI-Modell, das letzten Monat von Forschern der Universität Berkeley entwickelt wurde, kostete 450 US-Dollar im Training – für Branchenverhältnisse immer noch günstig. Stanford und die University of Washington gingen jedoch noch einen Schritt weiter und reduzierten die Kosten auf etwa 50 US-Dollar, indem sie ihr Modell mit einem kleineren Datensatz und optimierten Techniken destillierten.

Die Forscher wählten lediglich 1.000 Fragen aus, die jeweils mit detaillierten Antworten und schrittweisen Begründungen aus Googles Gemini 2.0 verknüpft waren. Dieser Datensatz lieferte dem Modell s1 das gesamte Wissen, das es für eine optimale Leistung benötigte. Laut der Veröffentlichung des Teams lernte das Modell, Probleme analytisch zu lösen.

Überwachtes Feinabstimmen (Supervised Fine-Tuning, SFT) war der Schlüssel zum Erfolg. Anstatt Reinforcement Learning zu verwenden, das riesige Datensätze und enorme Rechenleistung erfordert, entschieden sich die Forscher für SFT. Bei dieser Methode wird die KI direkt darauf trainiert, Verhaltensweisen aus dem Datensatz nachzuahmen. Sie ist kostengünstiger und schneller – und in diesem Fall hat sie funktioniert.

Das Basismodell stammte von Qwen, dem KI-Labor von Alibaba. Da das vorgefertigte Modell kostenlos heruntergeladen werden konnte, war das Projekt noch kostengünstiger. In weniger als 30 Minuten und mit nur 16 Nvidia H100 GPUs schloss das Team das Training von s1 ab. „Wir könnten die benötigte Rechenleistung heute für etwa 20 Dollar mieten“, sagte Muennighoff.

Der Befehl „Warten“ erhöhte die Genauigkeit von S1

Die Forscher wandten einen cleveren Trick an, um das Denkvermögen von s1 zu verbessern: Sie fügten während der Problemlösung das Wort „Warten“ ein. Indem sie das Modell anwiesen, innezuhalten und seine Arbeit zu überprüfen, erhöhten sie die Genauigkeit. Die Forschungsarbeit beschreibt detailliert, wie diese Anpassung s1 genügend Zeit gab, bessere Antworten zu erwägen, bevor sie diese abgab.

OpenAI beobachtet die Entwicklung genau. Sie haben DeepSeek bereits vorgeworfen, Daten unrechtmäßig über ihre API gesammelt zu haben, um KI-Konkurrenten zu entwickeln. Da S1 gezeigt hat, wie kostengünstig die Reproduktion sein kann, sind große Akteure wie OpenAI alles andere als begeistert. Die Kommerzialisierung von KI-Modellen könnte ihren Gewinn schmälern.

Doch das Technologieunternehmen hat weitere Probleme. Am Dienstag trafen Elon Musks Anwälte in einem Bundesgerichtssaal in Oakland auf OpenAI. Musk, der zu den ersten Investoren von OpenAI gehörte, wirft dem Unternehmen vor, seinen gemeinnützigen Auftrag aufgegeben und seine ursprünglichen Ziele verraten zu haben.

Er klagt, um den Übergang zu einem rein gewinnorientierten Unternehmen zu verhindern. Elons Anwalt, Marc Toberoff, erklärte am Freitag vor Gericht, Elon habe zwischen der Gründung und 2018 45 Millionen Dollar in OpenAI investiert, weil er davon überzeugt war, dass das Unternehmen – wie ursprünglich angekündigt – stets den öffentlichen Nutzen über den Profit stellen würde.

Richterin Yvonne Gonzalez Rogers nannte es eine „weit hergeholte“ Behauptung und fragte, warum Elon überhaupt so viel Geld ohne schriftlichentracinvestieren sollte. „Das ist doch nur eine Menge Geld, das per Handschlag besiegelt wird“, spottete sie. Anwalt Toberoff erklärte daraufhin, dass Elon und Sam Altman, der CEO von OpenAI, damals ein enges Verhältnis pflegten und alles auf Vertrauen beruhte.

Der Fall ist aber noch nicht abgeschlossen. Der Richter ist besorgt über die enge Verbindung von OpenAI zu Microsoft. Zwei Schlüsselfiguren – LinkedIn-Mitbegründer Reid Hoffman und Microsoft-Managerin Deanna Templeton – waren im Aufsichtsrat von OpenAI vertreten. Templeton wurde nach Altmans kurzzeitigem Ausscheiden im Jahr 2023 als nicht stimmberechtigtes Mitglied aufgenommen, später jedoch aufgrund wettbewerbsrechtlicher Bedenken wieder abberufen.

Elon will die Pläne der anderen Firmen stoppen und möglicherweise durch sein eigenes KI-Unternehmen xAI, das er als Kläger in dem Verfahren hinzugefügt hat, mehr Kontrolle über OpenAI erlangen. OpenAI argumentiert, Elons Antrag würde das Geschäftripple und basiere auf „abwegigen“ Behauptungen.