OpenAI sagt, es sei unzufrieden mit Nvidias Inferenz-Hardware und sucht nun nach AMD, Cerebras, Groq

OpenAI ist nicht mehr glücklich mit Nvidias KI-Chips, insbesondere wenn es darum geht, wie schnell sie Benutzerantworten geben können. Das Unternehmen begann im vergangenen Jahr, nach anderen Optionen zu suchen, und spricht nun mit AMD, Cerebras und sprach sogar mit Groq, bevor dieses geschlossen wurde.

Diese Spannungen wurden real, als OpenAI erkannte, dass Nvidias Chips für bestimmte Dinge wie das Schreiben von Code und die Bearbeitung von Software-zu-Software-Aufgaben nicht schnell genug waren.

Ein Insider behauptete angeblich, OpenAI wolle neue Chips, die mindestens 10 % seiner Inferenzanforderungen in Zukunft bewältigen können. Das ist der Teil, in dem die KI auf Benutzer antwortet, nicht der Teil, in dem sie lernt.

OpenAI will schnellere Chips für Codierung und Benutzerantworten

Der Großteil von OpenAIs aktueller Arbeit läuft noch auf Nvidia, aber hinter den Kulissen testet es Chips, die alles schneller machen könnten.

Dazu gehören Chips, die mit SRAM gepackt sind, was die Geschwindigkeit erhöht, indem Speicher direkt neben den Prozessor gelegt wird. Nvidia und AMD verwenden immer noch Speicher, der außerhalb des Chips sitzt, was die Geschwindigkeit verlangsamt.

Menschen innerhalb von OpenAI verwiesen auf Codex, das Tool, das Code schreibt, als den Ort, an dem die Langsamkeit das größte Problem war. Einige Mitarbeiter beschuldigten sogar die schwache Leistung der Hardware von Nvidia. In einem Presseanruf am 30. Januar sagte OpenAI-CEO Sam Altman: „Kunden, die unsere Codierungsmodelle nutzen, werden einen großen Premium auf Geschwindigkeit für Codierungsarbeiten legen.“

Sam fügte hinzu, dass normale ChatGPT-Nutzer die Geschwindigkeit nicht so sehr interessieren, aber für Entwickler und Unternehmen zählt jede Sekunde. Er sagte, OpenAI habe gerade einen Deal mit Cerebras unterzeichnet, um die Geschwindigkeit zu erhöhen.

Gleichzeitig erzielen Unternehmen wie Anthropic und Google mit ihren eigenen Chips bessere Ergebnisse. Die TPUs von Google sind speziell für die Art von Arbeit entwickelt, die das Inferencing erfordert. Das hat sie schneller in der Antwortzeit gemacht, insbesondere für Modelle wie Claude und Gemini.

Gespräche zwischen OpenAI und Groq nach Nvidia-Lizenzvereinbarung abgebrochen

OpenAI führte auch Gespräche mit Groq, einem anderen Startup, das schnelle Chips entwickelt, aber diese Gespräche kamen nicht weit. Nvidia kam ins Spiel und schloss einen Lizenzierungsvertrag im Wert von 20 Milliarden Dollar mit Groq ab. Das gab Nvidia Zugang zu Groqs Designs und beendete OpenAIs Pläne, mit ihnen zusammenzuarbeiten.

Eine Quelle, die nah an der Situation war, sagte, dass Groqs Chips genau für das gebaut wurden, was OpenAI brauchte. Aber sobald Nvidia den Deal festigte, schloss sich diese Tür. Obwohl die Lizenz nicht exklusiv war, konzentriert sich Groq jetzt auf cloudbasierte Software, und Nvidia hat einige von Groqs Chip-Designern für sich gewonnen.

Cerebras hingegen sagte Nein, als Nvidia versuchte, sie zu kaufen. Stattdessen ging man einen eigenen Deal mit OpenAI ein. Groq erhielt auch Investitionsangebote, die seinen Wert auf rund 14 Milliarden Dollar schätzten, aber das hat sich verschoben, seit es mit Nvidia verbunden ist.

OpenAI ist nicht vollständig von Nvidia abgewichen. In einer öffentlichen Erklärung sagte ein Sprecher: „Wir verlassen uns auf Nvidia, um den Großteil unserer Inferencing-Flotte mit Strom zu versorgen“, und nannte die Leistung pro Dollar die beste auf dem Markt. Nvidia sagte auch: „Kunden wählen weiterhin Nvidia für das Inferencing, weil wir die beste Leistung und die Gesamtbetriebskosten im großen Maßstab liefern.“

Investitionsdeal von Nvidia in Höhe von $100 Milliarden steckt noch immer in der Schwebe

Letztes Jahr sagte Nvidia, es plane, bis zu 100 Milliarden Dollar in OpenAI zu investieren. Dieses Geld sollte OpenAI helfen, mehr fortschrittliche Chips zu kaufen, und im Gegenzug würde Nvidia einen Anteil am Unternehmen erhalten. Reuters berichtete, dass der Deal in wenigen Wochen abgeschlossen werden sollte. Das ist immer noch nicht geschehen.

Während dieser Deal ins Stocken geriet, ging OpenAI weiter und schloss Vereinbarungen mit AMD und anderen ab, um Chips zu testen, die direkt mit denen von Nvidia konkurrieren könnten. Aber als OpenAI seine Produktpläne änderte, änderte sich auch die Art der Hardware, die es brauchte. Das verlangsamt die Gespräche noch mehr, sagte eine mit der Situation vertraute Person.

Am Samstag wurde Nvidia-CEO Jensen Huang nach der Reibung gefragt. Er sagte: „Das ist Unsinn“, und bestand darauf, dass Nvidia immer noch plant, groß in OpenAI zu investieren. Aber hinter den Kulissen ist klar, dass beide Seiten ihre Optionen erkunden.

Gleichzeitig hat Nvidia nach neuen Chip-Ideen gesucht. Es wandte sich sowohl an Cerebras als auch an Groq, um zu sehen, ob sie offen für eine Übernahme wären. Cerebras lehnte das ab und verdoppelte seinen Deal mit OpenAI.

Derzeit nutzt OpenAI GPT4o, um die meisten seiner Dienste zu betreiben. Aber so wie die Dinge laufen, wird zumindest ein Teil dieser Arbeit in naher Zukunft auf Chips von AMD oder Cerebras laufen. Das Unternehmen versucht nicht, Nvidia komplett abzuschütteln, aber es ist klar, dass es mehr Kontrolle darüber will, wie schnell seine Systeme arbeiten.