Elon Musk annonce une formation GROK 3 à Memphis avec des GPU NVIDIA H100

Elon Musk a annoncé officiellement le lancement de l'entraînement de GROK 3 au centre de supercalculateurs de Memphis, équipé de GPU H100 de dernière génération de NVIDIA. Ce centre, que Musk qualifie de « cluster d'entraînement d'IA le plus puissant au monde », est opérationnel depuis lundi grâce à 100 000 GPU H100 refroidis par liquide sur une seule architecture RDMA.

L'entraînement était prévu à 4h20, heure locale de Memphis. Dans un tweet ultérieur, Musk a déclaré que l'IA la plus avancée au monde pourrait être développée d'ici décembre. Il a également tweeté à propos de cette avancée sur X et a félicité les équipes de xAI, X et NVIDIA pour leur excellent travail. 

xAI change de stratégie et annule son contrat avec Oracle Server

Cette annonce intervient après l'annulation récente d'un contrat de 10 milliards de dollars portant sur la fourniture de serveurs entre xAI et Oracle. Musk a indiqué que la Gigafactory de calcul de xAI, initialement prévue pour l'automne 2025, est désormais opérationnelle plus tôt que prévu.

xAI avait initialement sous-traité la conception de ses puces d'IA à Oracle, mais a décidé de se désengager de ce partenariat afin de développer son propre supercalculateur de pointe. Le projet prévoit désormais d'exploiter le potentiel des GPU H100, des processeurs graphiques de dernière génération, dont le coût unitaire avoisine les 30 000 $. GROK 2 utilisait 20 000 GPU, et GROK 3 en a nécessité cinq fois plus pour concevoir un chatbot d'IA plus sophistiqué. 

À lire également :Elon Musk sollicite l’avis du public sur un investissement de 5 milliards de dollars dans Tesla via xAI.

C'est assez surprenant, d'autant plus que NVIDIA a récemment annoncé la sortie prochaine des GPU H200, basés sur l'architecture Hopper. La décision de commencer l'entraînement avec des GPU H100 plutôt que d'attendre les H200 ou les futurs GPU B100 et B200 basés sur Blackwell est regrettable. Les GPU H200, entrés en production de masse au deuxième trimestre, promettent des gains de performance significatifs, mais xAI se concentre dans l'immédiat sur l'exploitation de l'infrastructure H100 existante pour atteindre ses objectifs ambitieux.

Un analyste s'interroge sur l'approvisionnement en électricité du supercluster de Memphis

Dylan Patel, expert en intelligence artificielle et en semi-conducteurs, a initialement soulevé des inquiétudes quant à l'alimentation électrique du supercluster de Memphis. Il a souligné que la puissance actuelle du réseau, de 7 mégawatts, ne peut alimenter qu'environ 4 000 GPU. La Tennessee Valley Authority (TVA) devrait fournir 50 MW à l'installation, un accord qui devrait être signé d'ici le 1er août. Cependant, le poste de transformation nécessaire pour répondre à la demande totale en électricité ne sera achevé qu'à la fin de 2024. 

En analysant des images satellites, Patel a constaté que Musk avait utilisé 14 générateurs mobiles VoltaGrid, d'une puissance unitaire de 2,5 mégawatts. Au total, ces générateurs produisent 35 mégawatts d'électricité. Ajoutés aux 8 MW du réseau, cela représente une puissance totale de 43 MW, suffisante pour alimenter environ 32 000 GPU H100, moyennant une limitation de consommation.