Meta testa il suo chip di addestramento AI interno che limiterà la dipendenza da fornitori come Nvidia

Secondo quanto riferito, Meta sta testando il suo primo chip di addestramento all'intelligenza artificiale, progettato per addestrare i sistemi di intelligenza artificiale di Meta e ridurre la dipendenza dell'azienda da fornitori terzi come Nvidia.

Secondo fonti citate da Reuters, si prevede che l'iniziativa ridurrà anche l'ingente spesa infrastrutturale dell'azienda: Meta punta a utilizzare i propri chip interni entro il 2026.

Meta sta lavorando con TSMC su questo progetto

Si dice che l'azienda stia già utilizzando un chip di generazione precedente per addestrare i suoi algoritmi di classificazione e di azione consigliata, ma questo sarebbe il primo utilizzo per addestrare strumenti generativi come Meta AI.

Reuters ha riferito che Meta ha aperto una nuova sezione per testare il chip interno. Il colosso dei social media ha avviato un piccolo piazzamento del chip con l'intenzione di aumentarne la produzione per un utilizzo su larga scala se il test avrà esito positivo.

I rapporti indicano che Meta sta addestrando chip di intelligenza artificiale dedicati alla gestione di compiti specifici dell'intelligenza artificiale. Secondo quanto riferito, il dispositivo è stato prodotto da TSMC, e l'implementazione dei test è prevista dopo il completamento con successo del tape out del processo finale, prima della produzione del semiconduttore.

Meta ha iniziato a testare il suo primo "tape-out" del chip, una tappa significativa nel processo di sviluppo del silicio che prevede l'invio di un progetto iniziale a una fabbrica di chip.

Secondo Reuters, un test di tape-out costa in genere decine di milioni di dollari e richiede circa 25-60 giorni per essere completato, senza alcuna garanzia di successo. In caso di fallimento, l'azienda dovrebbe diagnosticare il problema e ripetere la fase di tape-out.

Meta ha preso in considerazione lo sviluppo di chip proprietari per ridurre la sua dipendenza dall'hardware Nvidia. Meta è rimasta uno dei maggiori clienti di Nvidia e ha accumulato una collezione di GPU per addestrare i suoi modelli, inclusa la serie di modelli di base Llama.

Gli analisti dell'intelligenza artificiale hanno espresso preoccupazioni e dubbi sui progressi che si possono ottenere ampliando costantemente gli LLM aggiungendo più dati e potenza di calcolo, dubbi che sono stati rafforzati quando DeepSeek ha lanciato i suoi modelli a una frazione del costo sostenuto dai suoi pari.

Di cui si è parlato per la prima volta nel 2023, i chip interni di Meta, denominati Meta Training and Inference Accelerator, sono basati su nodi da 7 nm e forniscono un calcolo con una precisione di 102 Tops of Integer (8 bit) o ​​51,2 teraflops di calcolo con una precisione di FP16.

I chip hanno una frequenza di 800 megahertz e sono grandi circa 370 millimetri quadrati.

Questo chip è l'ultimo della serie MTIA dell'azienda; il programma ha avuto un inizio traballante per anni e a un certo punto ha scartato un chip in una fase di sviluppo simile.

Meta ha mancato gli obiettivi iniziali, ritardando il lancio del chip

Inizialmente Meta avrebbe dovuto lanciare i suoi chip nel 2022, ma ha abbandonato il piano dopo che non sono riusciti a raggiungere gli obiettivi interni, con il passaggio dalle CPU alle GPU per l'addestramento dell'intelligenza artificiale che ha costretto l'azienda a riprogettare i suoi data center e ad annullare diversi progetti.

Tuttavia, l'anno scorso Meta ha iniziato a utilizzare un chip MTIA per eseguire l'inferenza, ovvero il processo coinvolto nell'esecuzione di un sistema di intelligenza artificiale mentre gli utenti interagiscono con esso, per i sistemi di raccomandazione che determinano quali contenuti vengono visualizzati nei feed di notizie di Facebook e Instagram.

Secondo il rapporto, nel febbraio 2024 l'azienda aveva in programma di distribuire la seconda generazione del chip MTIA.

L'azienda, proprietaria anche di Instagram e WhatsApp, ha previsto spese tra i 114 e i 119 miliardi di dollari, di cui fino a 65 miliardi di dollari in spese in conto capitale, in gran parte dovute alla spesa per infrastrutture di intelligenza artificiale.

Secondo quanto riferito, i dirigenti di Meta hanno dichiarato di voler iniziare a utilizzare i propri chip entro il 2026 per la formazione o per il processo ad alta intensità di calcolo di alimentare il sistema di intelligenza artificiale con enormi quantità di dati per insegnargli come comportarsi.

Come per il chip di inferenza, l'obiettivo del chip di addestramento è iniziare con i sistemi di raccomandazione e in seguito utilizzarli per prodotti di intelligenza artificiale generativa come il chatbot Meta AI, hanno affermato i dirigenti.

Alla conferenza di Morgan Stanley su tecnologia, media e telecomunicazioni della scorsa settimana, Chris Cox, , ha dichiarato: "Stiamo lavorando su come addestrare i sistemi di raccomandazione e, in seguito, su come concepire l'addestramento e l'inferenza per l'intelligenza artificiale di nuova generazione".

Commentando gli sforzi di Meta nello sviluppo dei chip, Cox li ha descritti come "una sorta di percorso a tappe", finora. Tuttavia, ha affermato che i dirigenti hanno considerato le raccomandazioni sui chip di inferenza di prima generazione un "enorme successo"