OpenAIs Pläne für eine KI-Megastadt hängen von einem Durchbruch bei der Entwicklung eines maßgeschneiderten Chips ab

OpenAI entwirft etwas, das wie der Bauplan für eine maschinell gebaute Zivilisation aussieht – eine Zivilisation, die mit eigenen Chips, eigener Infrastruktur und genügend Strom betrieben wird, um zwei New Yorker Städte zu beleuchten.

Die gewaltige Vision des Unternehmens von einer KI-Stadt basiert auf einer Vision, die nahezu unmöglich zu verwirklichen ist: die Entwicklung und Produktion von Milliarden kundenspezifischer Chips in Partnerschaft mit Broadcom, um das zu unterstützen, was CEO Sam Altman als das „Rechenrückgrat“ der Zukunft bezeichnet.

Sam sagte dem Wall Street Journal, dass die Bereitstellung der von den Menschen geforderten KI-Dienste mindestens einen KI-spezifischen Chip pro Benutzer erfordern wird – eine schier unglaubliche Prognose, die in die Milliarden geht.

Ali Farhadi, Leiter des Allen Institute for AI, unterstützte diese Einschätzung und sagte, wenn KI menschliche Arbeit in dem versprochenen Tempo ersetze, „wird die Welt genauso viele KI-Chips benötigen wie herkömmliche“. Für OpenAIgeht es dabei um Kontrolle: über die Kosten, den Stromverbrauch und das langfristige Überleben der Modelle angesichts der explosionsartigen Nachfrage.

OpenAI verbindet Broadcom, Nvidia und Speichergiganten für die nächste Generation von Computern

Nvidia dominiert natürlich immer noch den Bereich des KI-Trainings mit einem Marktanteil von rund 70 %, weshalb OpenAI weiterhin auf die GPUs von Nvidia für das Modelltraining angewiesen ist.

OpenAI teilt die Verarbeitungskette nun auf: Das Training erfolgt auf Nvidia-Chips, die Inferenz (die Bereitstellung von Antworten für die Nutzer) auf Broadcoms kundenspezifischen Chips. DiesestracDesign könnte Kosten und Stromverbrauch in einem Umfang senken, in dem jedes Prozent zählt.

Jordan Nanos, Halbleiterforscher bei SemiAnalysis, erklärte , Broadcom unterstütze OpenAI dabei, „das typische Rezept für KI-Chips neu zu interpretieren“. Diese Chips seien nicht generisch, sondern würden speziell für die Modelle von OpenAI entwickelt, die auf Speicher mit hoher Bandbreite angewiesen seien. Dieser Speicher werde von Samsung und SK Hynix geliefert, zwei Unternehmen, mit denen Broadcom kürzlich Partnerschaften eingegangen ist.

Diese Art von Speicher ermöglicht einen schnelleren Datenaustausch zwischen den Prozessoren, was für Systeme wie OpenAIs Pulse, einen KI-Agenten, der täglich das Web durchsucht, um Nutzer zu informieren, unerlässlich ist. Pulse benötigt so viel Rechenleistung, dass es laut Sam nur Nutzern mit einem Pro-Abo für 200 US-Dollar pro Monat zur Verfügung steht.

Diese Abhängigkeit von Arbeitsspeicher mit hoher Bandbreite steht in direktem Zusammenhang mit der Funktionsweise der OpenAI-Modelle. Frühe neuronale Netze waren „dicht“ und aktivierten für jede Anfrage große Teile ihres Systems. Neuere Netze nutzen „Sparsity“, wodurch nur spezifische Expertenbereiche aktiviert werden.

Moderne Systeme nutzen statt 25 % des Modells zur Beantwortung einer Frage nur einen Bruchteil eines Prozents. Dieser Unterschied reduziert den Stromverbrauch drastisch und beschleunigt die Reaktionszeiten. Wenn ein Chip auf dieser sparsamen Logik basiert, steigt die Effizienz enorm an – und Broadcom macht diese Hardware möglich.

Die Gigawatt-starken KI-Supercomputer von OpenAIdefidie Infrastruktur neu

Sam erklärte, dass OpenAI derzeit über eine Rechenleistung von rund 2 Gigawatt verfügt, verteilt auf globale Rechenzentren. Die Partnerschaft mit Broadcom zielt darauf ab, bis 2030 bis zu 10 Gigawatt aufzubauen und damit die physische Basis für sogenannte KI-Städte zu schaffen – dicht besiedelte Campusse aus Servern, Speichern und kundenspezifischen Verbindungen, die durch Broadcoms Tomahawk Ultra Netzwerkchips miteinander verbunden werden.

Das ist nur ein Teil der Entwicklung. In den vergangenen drei Wochen OpenAI durch neue Kapazitätsverträge mit AMD und Nvidia weitere 16 Gigawatt hinzugefügt, wodurch sich das Gesamtvolumen auf ein Niveau erhöht, das Investitionen von fast einer Billion Dollar erfordern könnte.

xAIs Memphis Colossus erreichte bereits im Herbst 1,21 Gigawatt. Metas Hyperion-Anlage in Louisiana ist für 2,3 Gigawatt genehmigt, Mark Zuckerberg peilt sogar 5 Gigawatt an. Der Wettlauf um die größte KI-Energieerzeugung ist damit offiziell global.

Sam bezeichnete diese Transformation als „das größte gemeinsame Industrieprojekt der Geschichte“ und sagte, selbst diese Verträge seien „nur ein Tropfen auf den heißen Stein im Vergleich zu dem, was wir noch erreichen müssen“. Ein Teil seines Ziels ist die Diversifizierung der Lieferanten.

Der von Oracle in Abilene, Texas, errichtete Stargate-Campus konzentriert sich auf KI-Training, hauptsächlich auf Nvidia-Chips. AMD-Hardware übernimmt Inferenz-Workloads, während Broadcoms kundenspezifische Siliziumchips die Effizienzlücke schließen.

Wie Nanos es ausdrückte: „OpenAI blickt ziemlich weit in die Zukunft und versucht sicherzustellen, dass sie Zugang zu einer ausreichenden Anzahl von Chips haben.“