Meta testet seinen hauseigenen KI-Trainingschip, der die Abhängigkeit von Zulieferern wie Nvidia verringern soll

Meta testet Berichten zufolge seinen ersten KI-Trainingschip, der dazu dienen soll, die KI-Systeme von Meta zu trainieren und die Abhängigkeit des Unternehmens von Drittanbietern wie Nvidia zu verringern.

Die Initiative soll außerdem die enormen Infrastrukturkosten des Unternehmens senken. Meta strebt an, bis 2026 eigene Chips zu verwenden, wie Reuters unter Berufung auf Quellen berichtet.

Meta arbeitet bei diesem Projekt mit TSMC zusammen

Das Unternehmen soll bereits einen Chip der vorherigen Generation zum Trainieren seiner Ranking- und Empfehlungsalgorithmen verwenden, dies wäre jedoch der erste Einsatz zum Trainieren generativer Tools wie Meta AI.

Reuters berichtete, dass Meta eine neue Testumgebung für den hauseigenen Chip eingerichtet hat. Der Social-Media-Riese hat zunächst eine kleine Anzahl von Chips im Einsatz, plant aber, die Produktion für eine breite Anwendung auszuweiten, falls die Tests erfolgreich verlaufen.

Berichten zufolge trainiert Meta KI-Chips, die speziell für KI-Aufgaben entwickelt wurden. Die Chips sollen von TSMC hergestellt worden sein, wobei der Testeinsatz nach erfolgreichem Tape-Out des letzten Fertigungsprozesses vor der Halbleiterproduktion erfolgte.

Meta hat mit dem Testen des ersten „Tape-Out“-Chips begonnen, einem wichtigen Meilenstein in der Siliziumentwicklung, bei dem ein erster Entwurf an eine Chipfabrik gesendet wird.

Laut Reuters kostet ein typischer Tape-out mehrere zehn Millionen Dollar und dauert etwa ein Viertel- bis ein halbes Jahr, ohne dass der Erfolg des Tests garantiert ist. Im Falle eines Fehlschlags müsste das Unternehmen das Problem diagnostizieren und den Tape-out-Schritt wiederholen.

Meta hat die Entwicklung eigener Chips in Betracht gezogen, um die Abhängigkeit von Nvidia-Hardware zu verringern. Meta zählt weiterhin zu den größten Kunden von Nvidia und verfügt über eine umfangreiche Sammlung von GPUs zum Trainieren seiner Modelle, darunter auch die Llama-Grundlagenmodelle.

KI-Analysten äußerten Bedenken und Zweifel hinsichtlich der Fortschritte, die durch die kontinuierliche Skalierung von LLMs durch Hinzufügen von mehr Daten und Rechenleistung erzielt werden können. Diese Zweifel wurden noch verstärkt, als DeepSeek seine Modelle zu einem Bruchteil der Kosten auf den Markt brachte, die seinen Mitbewerbern entstanden.

Die hauseigenen Chips von Meta, die erstmals 2023 als in Entwicklung befindlich gemeldet wurden und den Namen Meta Training and Inference Accelerator tragen, basieren auf 7-nm-Knoten und bieten eine Rechenleistung von 102 Tops of Integer (8-Bit) Genauigkeit oder 51,2 Teraflops FP16 Genauigkeit.

Die Chips arbeiten mit 800 Megahertz und sind etwa 370 Millimeter im Quadrat.

Dieser Chip ist der neueste in der MTIA-Serie des Unternehmens, und das Programm hatte jahrelang einen holprigen Start; zwischenzeitlich wurde sogar ein Chip in einer ähnlichen Entwicklungsphase verworfen.

Meta verfehlte die anfänglichen Ziele, was die Markteinführung des Chips verzögerte

Ursprünglich hatte Meta geplant, seine Chips im Jahr 2022 auf den Markt zu bringen, verwarf diesen Plan jedoch, nachdem interne Ziele nicht erreicht wurden. Der Wechsel von CPUs zu GPUs für das KI-Training zwang das Unternehmen, seine Rechenzentren neu zu gestalten und mehrere Projekte abzubrechen.

Meta hat jedoch im letzten Jahr damit begonnen, einen MTIA-Chip für die Inferenz – also den Prozess, der beim Betrieb eines KI-Systems während der Interaktion der Nutzer mit diesem stattfindet – für die Empfehlungssysteme zu verwenden, die bestimmen, welche Inhalte in den Newsfeeds von Facebook und Instagram angezeigt werden.

Dem Bericht zufolge plante das Unternehmen im Februar 2024 die Einführung der zweiten Generation des MTIA-Chips.

Das Unternehmen, dem auch Instagram und WhatsApp gehören, rechnet für 2025 Gesamtausgaben in Höhe von 114 bis 119 Milliarden US-Dollar, darunter bis zu 65 Milliarden US-Dollar an Investitionsausgaben, die größtenteils auf Ausgaben für KI-Infrastruktur zurückzuführen sind.

Meta-Manager sollen gesagt haben, dass sie ab 2026 eigene Chips für das Training oder den rechenintensiven Prozess der Datenzufuhr zum KI-System einsetzen wollen, um ihm die korrekte Ausführung der Aufgaben beizubringen.

Wie beim Inferenzchip besteht das Ziel beim Trainingschip darin, zunächst mit Empfehlungssystemen zu beginnen und ihn später für generative KI-Produkte wie den Chatbot Meta AI einzusetzen, sagten die Führungskräfte.

Auf der Technologie-, Medien- und Telekommunikationskonferenz von Morgan Stanley letzte Woche Chris Cox, : „Wir arbeiten daran, wie wir das Training für Empfehlungssysteme gestalten können und wie wir schließlich über Training und Inferenz für allgemeine KI nachdenken.“

Cox kommentierte Metas Bemühungen zur Chipentwicklung und beschrieb sie bisher als „etwas zäh und vorsichtig“. Die Empfehlungen für die erste Generation von Inferenzchips würden von den Führungskräften jedoch als „großer Erfolg“ gewertet