Elon Musk anuncia el entrenamiento de GROK 3 en Memphis con GPUs NVIDIA H100

Elon Musk ha anunciado oficialmente el inicio del entrenamiento de GROK 3 en las instalaciones del supercomputador de Memphis, equipado con las GPUs H100 de última generación de NVIDIA. La instalación, a la que Musk se refiere como "el clúster de entrenamiento de IA más potente del mundo", comenzó a operar el lunes con la ayuda de 100.000 GPUs H100 refrigeradas por líquido en una sola red RDMA.

El entrenamiento estaba programado a las 4:20 a. m. hora local en Memphis. En su tuit posterior, Musk afirmó que el "IA más avanzado del mundo" podría desarrollarse para diciembre de este año. Musk también tuiteó sobre el logro en X y felicitó a los equipos de xAI, X y NVIDIA por su excelente trabajo. 

xAI cambia de estrategia y cancela acuerdo de servidores con Oracle

El anuncio llega después de la reciente cancelación de un acuerdo de servidores por 10.000 millones de dólares entre xAI y Oracle. Musk indicó que la Gigafábrica de Cómputo de xAI, inicialmente prevista para estar operativa en otoño de 2025, ha comenzado operaciones antes de lo previsto.

xAI había externalizado anteriormente sus chips de IA a Oracle pero decidió desvincularse para desarrollar su propio supercomputador avanzado. El proyecto ahora planea aprovechar el potencial de las GPUs H100 de última generación que cuestan alrededor de $30.000 cada una. GROK 2 utilizó 20.000 GPUs, y GROK 3 necesitó cinco veces más GPUs para construir un chatbot de IA más sofisticado. 

También leer:Elon Musk busca la opinión pública sobre una inversión de 5.000 millones de dólares en xAI para Tesla

Esto es bastante sorprendente, especialmente porque NVIDIA acaba de anunciar el próximo lanzamiento de las GPUs H200, que se basan en la arquitectura Hopper. La decisión de comenzar el entrenamiento con GPUs H100 en lugar de esperar a las H200 o a las próximas GPUs B100 y B200 basadas en Blackwell. Las GPUs H200, que entraron en producción en masa en el segundo trimestre, prometen mejoras significativas de rendimiento, pero el enfoque inmediato de xAI es aprovechar la infraestructura H100 existente para cumplir sus ambiciosos objetivos.

Analista cuestiona el suministro de energía para el Supercluster de Memphis

Dylan Patel, experto en IA y semiconductores, inicialmente plantó preocupaciones sobre los problemas de energía al ejecutar el Supercluster de Memphis. Señaló que el suministro actual de la red de 7 megavatios solo puede sostener aproximadamente 4.000 GPUs. Se espera que la Autoridad de la Valle del Tennessee (TVA) suministre 50MW a la instalación como un acuerdo que se espera sea firmado para el 1 de agosto. Sin embargo, la subestación necesaria para satisfacer la demanda total de energía solo se completará a finales de 2024.

Al analizar imágenes satelitales, Patel notó que Musk ha empleado 14 generadores móviles VoltaGrid, que pueden producir 2,5 megavatios cada uno. En conjunto, estos generadores producen 35 megavatios de electricidad. Además de los 8MW de la red, esto suma un total de 43MW, lo cual es suficiente para alimentar aproximadamente 32.000 GPUs H100 con algo de limitación de energía.