Meta testet seinen hauseigenen KI-Trainingschip, der die Abhängigkeit von Lieferanten wie Nvidia begrenzen wird

Berichten zufolge testet Meta seinen ersten KI-Trainingschip, der darauf ausgelegt ist, Metas KI-Systeme zu trainieren und die Abhängigkeit des Unternehmens von Drittanbietern wie Nvidia zu reduzieren.

Die Initiative wird voraussichtlich auch die enormen Infrastrukturkosten des Unternehmens senken, wobei Meta darauf abzielt, bis 2026 eigene hauseigene Chips zu verwenden, so Quellen, die von Reuters zitiert wurden.

Meta arbeitet mit TSMC an diesem Projekt

Es wird berichtet, dass das Unternehmen bereits einen Chip der vorherigen Generation verwendet, um seine Ranking- und Empfehlungsalgorithmen zu trainieren, aber dies wäre seine erste Verwendung, um generative Tools wie Meta AI zu trainieren.

Reuters berichtete, dass Meta eine neue Registerkarte zum Testen des hauseigenen Chips geöffnet hat. Der Social-Media-Riese hat begonnen, den Chip in kleiner Stückzahl einzusetzen, mit Plänen, die Produktion für den breiten Einsatz zu erhöhen, wenn der Test erfolgreich verläuft.

Die Berichte deuten darauf hin, dass Meta KI-Chips trainiert, die für die Bearbeitung KI-spezifischer Aufgaben entwickelt sind. Es wurde reportedly von TSMC hergestellt, wobei die Testbereitstellung auf einem erfolgreichen Tape-Out des finalen Prozesses vor der Herstellung eines Halbleiters folgt.

Meta begann mit dem Testen seines ersten „Tape-Out“ des Chips, ein bedeutender Meilenstein in der Siliziumentwicklung, der das Senden eines ersten Designs durch eine Chip-Fabrik beinhaltet.

Nach Reuters kostet ein typischer Tape-Out mehrere Millionen Dollar und dauert etwa ein Viertel bis ein halbes Jahr, ohne Garantie, dass der Test erfolgreich ist. Ein Misserfolg würde erfordern, dass ein Unternehmen das Problem diagnostiziert und den Tape-Out-Schritt wiederholt.

Meta hat daran gearbeitet, eigene Chips zu entwickeln, um seine Abhängigkeit von Nvidia-Hardware zu reduzieren. Meta war einer der größten Kunden von Nvidia und hat eine Sammlung von GPUs angesammelt, um seine Modelle zu trainieren, einschließlich seiner Llama-Foundation-Modellserie.

KI-Analysten haben Bedenken und Zweifel an dem Fortschritt geäußert, der durch kontinuierliches Skalieren von LLMs durch Hinzufügen mehrerer Daten und Rechenleistung erreicht werden kann, Zweifel, die verstärkt wurden, als DeepSeek seine Modelle zu einem Bruchteil der Kosten seiner Wettbewerber veröffentlichte.

Zuerst 2023 in der Entwicklung gemeldet, basieren die hauseigenen Chips von Meta, die als Meta Training and Inference Accelerator bezeichnet werden, auf 7-nm-Knoten und bieten 102 Tops an Integer (8-Bit)-Genauigkeitsberechnung oder 51,2 Teraflops an FP16-Genauigkeitsberechnung.

Die Chips laufen mit 800 Megahertz und sind etwa 370 Millimeter quadratisch.

Dieser Chip ist der neueste in der MTIA-Serie des Unternehmens und das Programm hatte in den Jahren einen wackeligen Start und strich an einem Punkt einen Chip in einer ähnlichen Phase der Entwicklung.

Meta verfehlte die ersten Ziele und verzögerte die Einführung des Chips

Ursprünglich sollte Meta seine Chips 2022 einführen, strich jedoch den Plan, nachdem sie interne Ziele nicht erreicht hatten, wobei der Wechsel von CPUs zu GPUs für das KI-Training das Unternehmen zwang, seine Rechenzentren neu zu gestalten und mehrere Projekte zu stornieren.

Im letzten Jahr begann Meta jedoch, einen MTIA-Chip zur Durchführung von Inferenz, oder den Prozess, der beim Ausführen eines KI-Systems involviert ist, wenn Benutzer damit interagieren, für die Empfehlungssysteme zu verwenden, die bestimmen, welche Inhalte in den Facebook- und Instagram-News-Feeds angezeigt werden.

Im Februar 2024 plante das Unternehmen laut Bericht, die zweite Generation des MTIA-Chips einzusetzen.

Das Unternehmen, das auch Instagram und WhatsApp besitzt, hat die gesamten Aufwendungen für 2025 auf 114 bis 119 Milliarden US-Dollar geschätzt, einschließlich bis zu 65 Milliarden US-Dollar an Kapitalausgaben, die hauptsächlich durch Ausgaben für die KI-Infrastruktur getrieben werden.

Meta-Führungskräfte gaben reportedly an, dass sie beginnen wollen, ihre eigenen Chips bis 2026 für das Training oder den rechenintensiven Prozess des Fütterns des KI-Systems mit riesigen Datenmengen zu verwenden, um ihm beizubringen, wie es performen soll.

Wie beim Inferenz-Chip ist das Ziel des Trainingschips, mit Empfehlungssystemen zu beginnen und ihn später für generative KI-Produkte wie den Chatbot Meta AI zu verwenden, so die Führungskräfte.

Auf der Morgan Stanley Technology-, Medien- und Telekommunikationskonferenz letzte Woche sagte Metas Chief Product Officer Chris Cox: „Wir arbeiten daran, wie wir das Training für Empfehlungssysteme durchführen würden, und dann, wie wir über das Training und die Inferenz für generative KI nachdenken.“

In Bezug auf die Chip-Entwicklungsbemühungen von Meta beschrieb Cox sie als „eine Art Walk, Crawl, Run-Situation“, bisher. Er sagte jedoch, dass Führungskräfte die Empfehlungen des Inferenzchips der ersten Generation als „großen Erfolg“ betrachteten.