Elon Musk annonce l'entraînement de GROK 3 à Memphis avec des GPU NVIDIA H100

Elon Musk a officiellement annoncé le début de l'entraînement de GROK 3 dans l'installation de supercalculateur de Memphis, équipée des GPU H100 de dernière génération de NVIDIA. L'installation, que Musk qualifie de « plus puissant cluster d'entraînement d'IA au monde », a commencé à fonctionner lundi avec l'aide de 100 000 GPU H100 à refroidissement liquide sur une seule toile RDMA.

L'entraînement était prévu à 4 h 20 du matin, heure locale, à Memphis. Dans son tweet suivant, Musk a déclaré que l'« IA la plus avancée au monde » pourrait être développée d'ici décembre de cette année. Musk a également tweeté à propos de cette réalisation sur X et a félicité les équipes de xAI, X et NVIDIA pour leur excellent travail. 

xAI change de stratégie et annule l'accord de serveurs avec Oracle

Cette annonce fait suite à l'annulation récente d'un accord de serveurs de 10 milliards de dollars entre xAI et Oracle. Musk a indiqué que la Gigafactory de Calcul de xAI, initialement prévue pour être opérationnelle à l'automne 2025, a commencé ses opérations plus tôt que prévu.

xAI avait précédemment externalisé ses puces IA auprès d'Oracle mais a décidé de se désengager afin de développer son propre supercalculateur avancé. Le projet prévoit désormais d'exploiter le potentiel des GPU H100 de pointe qui coûtent environ 30 000 $ chacun. GROK 2 utilisait 20 000 GPU, et GROK 3 a besoin de cinq fois plus de GPU pour construire un chatbot IA plus sophistiqué. 

À lire également :Elon Musk sollicite l'avis du public sur un investissement de 5 milliards de dollars dans xAI pour Tesla

Cela est assez surprenant, surtout parce que NVIDIA vient d'annoncer la prochaine sortie des GPU H200, basés sur l'architecture Hopper. La décision de commencer l'entraînement avec les GPU H100 au lieu d'attendre les H200 ou les futurs GPU B100 et B200 basés sur Blackwell. Les GPU H200, entrés en production de masse au T2, promettent des améliorations de performances significatives, mais l'objectif immédiat de xAI est d'exploiter l'infrastructure H100 existante pour atteindre ses objectifs ambitieux.

Un analyste remet en question l'alimentation électrique du Supercluster de Memphis

Dylan Patel, expert en IA et en semi-conducteurs, a initialement soulevé des préoccupations concernant les besoins en énergie pour faire fonctionner le Supercluster de Memphis. Il a souligné que l'alimentation actuelle du réseau de 7 mégawatts ne peut soutenir que environ 4 000 GPU. L'Autorité de la vallée du Tennessee (TVA) devrait fournir 50 MW à l'installation, dans le cadre d'un accord qui devrait être signé le 1er août. Cependant, le poste de transformation nécessaire pour répondre à la demande totale d'électricité ne sera achevé que fin 2024.

Lors de l'analyse des images satellites, Patel a noté que Musk a employé 14 générateurs mobiles VoltaGrid, qui peuvent produire 2,5 mégawatts chacun. Au total, ces générateurs produisent 35 mégawatts d'électricité. En plus des 8 MW du réseau, cela porte le total à 43 MW, ce qui est suffisant pour alimenter environ 32 000 GPU H100 avec une limitation de puissance.