Elon Musk annuncia l'addestramento GROK 3 a Memphis con GPU NVIDIA H100

Elon Musk ha annunciato ufficialmente l'inizio dell'addestramento GROK 3 presso il supercomputer di Memphis, dotato delle GPU H100 di ultima generazione di NVIDIA. Il supercomputer, che Musk definisce "il più potente cluster di addestramento per l'intelligenza artificiale al mondo", ha iniziato a funzionare lunedì con l'ausilio di 100.000 GPU H100 raffreddate a liquido su un singolo fabric RDMA.

L'addestramento era previsto per le 4:20 ora locale a Memphis. Nel suo tweet successivo, Musk ha affermato che "l'intelligenza artificiale più avanzata al mondo" potrebbe essere sviluppata entro dicembre di quest'anno. Musk ha anche twittato il risultato ottenuto su X e si è congratulato con i team di xAI, X e NVIDIA per l'eccellente lavoro. 

xAI cambia strategia e annulla l'accordo per il server Oracle

L'annuncio arriva sulla scia della recente cancellazione di un accordo da 10 miliardi di dollari per la fornitura di server tra xAI e Oracle. Musk ha dichiarato che la Gigafactory of Compute di xAI, inizialmente prevista per l'autunno del 2025, ha avviato le operazioni in anticipo rispetto al previsto.

In precedenza, xAI aveva esternalizzato i suoi chip di intelligenza artificiale da Oracle, ma ha deciso di disimpegnarsi per sviluppare un proprio supercomputer avanzato. Il progetto ora prevede di sfruttare il potenziale delle GPU H100 all'avanguardia, che costano circa 30.000 dollari ciascuna. GROK 2 ha utilizzato 20.000 GPU, mentre GROK 3 ne ha utilizzate cinque volte di più per realizzare un chatbot di intelligenza artificiale più sofisticato. 

Leggi anche:Elon Musk chiede l'opinione pubblica sull'investimento xAI da 5 miliardi di dollari per Tesla

Ciò è piuttosto sorprendente, soprattutto perché NVIDIA ha appena annunciato l'imminente rilascio delle GPU H200, basate sull'architettura Hopper. La decisione di iniziare l'addestramento con le GPU H100 invece di attendere l'arrivo delle H200 o delle imminenti GPU B100 e B200 basate su Blackwell. Le GPU H200, entrate in produzione di massa nel secondo trimestre, promettono significativi miglioramenti delle prestazioni, ma l'obiettivo immediato di xAI è sfruttare l'infrastruttura H100 esistente per raggiungere i suoi ambiziosi obiettivi.

Un analista mette in dubbio l'alimentazione del superammasso di Memphis

Dylan Patel, esperto di intelligenza artificiale e semiconduttori, aveva inizialmente espresso preoccupazione per i problemi energetici legati al funzionamento del Memphis Supercluster. Ha sottolineato che l'attuale fornitura di rete di 7 megawatt può supportare solo circa 4.000 GPU. La Tennessee Valley Authority (TVA) dovrebbe fornire 50 MW all'impianto, nell'ambito di un accordo la cui firma è prevista entro il 1° agosto. Tuttavia, la sottostazione necessaria per soddisfare l'intera domanda di energia sarà completata solo alla fine del 2024. 

Analizzando le immagini satellitari, Patel ha notato che Musk ha impiegato 14 generatori mobili VoltaGrid, in grado di produrre 2,5 megawatt ciascuno. Complessivamente, questi generatori producono 35 megawatt di elettricità. In aggiunta agli 8 MW provenienti dalla rete, si arriva a un totale di 43 MW, sufficienti ad alimentare circa 32.000 GPU H100 con un certo limite di potenza.