Elon Musk a officiellement annoncé le début de la formation GROK 3 dans les installations de supercalculateurs de Memphis, équipées des GPU H100 de génération actuelle de NVIDIA. L'installation, que Musk qualifie de « cluster de formation en IA le plus puissant au monde », a commencé à fonctionner lundi à l'aide de 100 000 GPU H100 refroidis par liquide sur une seule structure RDMA.
L'entraînement était prévu à 4h20, heure locale à Memphis. Dans son tweet ultérieur, Musk a déclaré que « l'IA la plus avancée au monde » pourrait être développée d'ici décembre de cette année. Musk a également tweeté sur les réalisations sur X et a félicité les équipes de xAI, X et NVIDIA pour leur excellent travail.
xAI change de stratégie et annule l'accord sur le serveur Oracle
Cette annonce fait suite à la récente annulation d'un accord de serveur de 10 milliards de dollars entre xAI et Oracle. Musk a indiqué que la xAI Gigafactory of Compute, initialement prévue pour être opérationnelle d'ici l'automne 2025, a démarré ses opérations plus tôt que prévu.
xAI avait auparavant externalisé ses puces d'IA auprès d'Oracle, mais a décidé de se désengager afin de développer son propre supercalculateur avancé. Le projet prévoit désormais d'exploiter le potentiel des GPU H100 de pointe, qui coûtent environ 30 000 dollars chacun. GROK 2 utilisait 20 000 GPU, et GROK 3 avait besoin de cinq fois plus de GPU pour créer un chatbot IA plus sophistiqué.
Lisez aussi : Elon Musk sollicite l’opinion publique sur un investissement xAI de 5 milliards de dollars pour Tesla
C'est assez surprenant, d'autant plus que NVIDIA vient d'annoncer la sortie prochaine des GPU H200, basés sur l'architecture Hopper. La décision de commencer la formation avec les GPU H100 au lieu d’attendre le H200 ou les prochains GPU B100 et B200 basés sur Blackwell. Les GPU H200, qui sont entrés en production de masse au deuxième trimestre, promettent des améliorations significatives des performances, mais l'objectif immédiat de xAI est de tirer parti de l'infrastructure H100 existante pour atteindre ses objectifs ambitieux.
Un analyste remet en question l’alimentation électrique du Memphis Supercluster
Dylan Patel, un expert en IA et en semi-conducteurs, a initialement fait part de ses inquiétudes concernant les problèmes d'alimentation liés à la gestion du Memphis Supercluster. Il a souligné que l’offre actuelle du réseau de 7 mégawatts ne peut alimenter qu’environ 4 000 GPU. La Tennessee Valley Authority (TVA) devrait fournir 50 MW à l'installation dans le cadre d'un accord qui devrait être signé d'ici le 1er août. Cependant, la sous-station qui sera nécessaire pour répondre à la pleine demande en électricité ne sera achevée que fin 2024.
Lors de l'analyse des images satellite, Patel a noté que Musk avait utilisé 14 générateurs mobiles VoltaGrid, pouvant produire 2,5 mégawatts chacun. Au total, ces générateurs produisent 35 mégawatts d'électricité. En plus des 8 MW du réseau, cela fait un total de 43 MW, ce qui est suffisant pour alimenter environ 32 000 GPU H100 avec un certain plafonnement de puissance.
