Meta lancia chip AI interni mentre la corsa per ridurre la dipendenza da Nvidia si accelera

Meta si sta muovendo più aggressivamente verso chip AI personalizzati mentre la lotta per ridurre la dipendenza da Nvidia diventa più seria tra le grandi aziende tecnologiche.

L'azienda ha detto che ha iniziato il Meta Training and Inference Accelerator, o MTIA, nel 2023, e ora sta preparando quattro nuove generazioni di chip nei prossimi due anni.

Secondo Meta, questi chip vengono presumibilmente costruiti per compiti di ranking, raccomandazioni e GenAI attraverso i prodotti di Meta.

L'azienda ha anche detto che non sta scommettendo su un fornitore o su un pezzo di hardware. Meta prevede di continuare ad acquistare silicio da diversi attori del settore mantenendo MTIA al centro del proprio piano di infrastruttura AI.

In parole dell'azienda, sta adottando un “approccio di portafoglio” mentre i carichi di lavoro AI crescono e cambiano. Questo significa mescolare chip esterni con silicio interno invece di affidare l'intero stack a un singolo fornitore.

Meta lancia quattro generazioni di chip MTIA con un programma più veloce

Meta ha detto che utilizza già centinaia di migliaia di chip MTIA per lavori di inferenza legati sia ai contenuti organici che alla pubblicità attraverso le sue app.

I chip sono costruiti per i lavori dell'azienda, non per l'uso generale. Questo è importante perché Meta ha detto che l'hardware fa parte di una soluzione full-stack personalizzata, che gli fornisce un sistema più ottimizzato per il lavoro che esegue ogni giorno.

L'azienda ha detto che questa configurazione offre una migliore efficienza di calcolo per i suoi casi d'uso specifici e riduce i costi rispetto ai chip a scopo più ampio.

La fase successiva è un rollout più ampio. Meta ha detto che sta costruendo MTIA 300, 400, 450 e 500, con ogni versione che porta guadagni in termini di calcolo, larghezza di banda della memoria ed efficienza. MTIA 300 è già in produzione e gestirà l'addestramento per il ranking e le raccomandazioni.

MTIA 400, 450 e 500 possono eseguire tutti i carichi di lavoro, ma Meta ha detto che questi chip verranno principalmente utilizzati per la produzione di inferenza GenAI nel breve termine e fino al 2027.

L'azienda ha anche detto che il silicio è modulare, il che permette ai nuovi chip di inserirsi nell'infrastruttura dei sistemi di rack esistenti. Questo riduce l'attesa tra la progettazione e la distribuzione.

Sulla velocità di rilascio, Meta ha detto che l'industria di solito lancia un nuovo chip AI ogni uno o due anni, ma ora ha la capacità di rilasciare i propri chip ogni sei mesi o meno riutilizzando progetti modulari.

Meta costruisce la sua strategia di chip AI attorno all'inferenza e agli standard aperti

L'azienda ha detto che la sua strategia MTIA si basa su tre parti: iterazione rapida, un design inference-first e un'adozione facile attraverso standard comuni.

Sul primo punto, Meta ha detto che il ciclo di rilascio più breve aiuta ad adattarsi più rapidamente mentre le tecniche di IA cambiano, introducono tecnologie hardware più recenti e riducono il costo di sviluppo e distribuzione di nuove versioni di chip.

Sul secondo punto, Meta ha tracciato una linea tra il suo piano e il modello di mercato abituale. L'azienda ha detto che la maggior parte dei chip mainstream sono costruiti prima per grandi lavori di pre-addestramento GenAI e poi utilizzati per altri lavori, spesso a un livello di costo peggiore.

Meta ha detto che sta facendo l'opposto. MTIA 450 e 500 sono ottimizzati prima per l'inferenza GenAI, poi utilizzati per il ranking, l'addestramento e l'inferenza delle raccomandazioni e l'addestramento GenAI quando necessario.

L'azienda ha anche detto che MTIA è costruito fin dall'inizio su strumenti e sistemi standard, inclusi PyTorch, vLLM, Triton e l'Open Compute Project. I suoi design di sistema e rack seguono anche gli standard OCP per l'uso nei data center.

Meta ha aggiunto che nessun singolo chip può coprire ogni domanda che ha, motivo per cui prevede di distribuire diversi chip per diversi carichi di lavoro spingendo verso ciò che ha definito “superintelligenza personale per tutti.”