Elon Musk anuncia el entrenamiento GROK 3 en Memphis con GPU NVIDIA H100

Elon Musk anunció oficialmente el inicio del entrenamiento GROK 3 en las instalaciones de supercomputadoras de Memphis, equipadas con las GPU H100 de última generación de NVIDIA. La instalación, a la que Musk se refiere como «el clúster de entrenamiento de IA más potente del mundo», comenzó a operar el lunes con la ayuda de 100.000 GPU H100 refrigeradas por líquido en una única estructura RDMA.

El entrenamiento se programó para las 4:20 a. m., hora local, en Memphis. En su tuit posterior, Musk afirmó que la "IA más avanzada del mundo" podría desarrollarse para diciembre de este año. Musk también tuiteó sobre el logro en X y felicitó a los equipos de xAI, X y NVIDIA por su excelente trabajo. 

xAI cambia de estrategia y cancela el acuerdo con Oracle Server

El anuncio se produce tras la reciente cancelación de un acuerdo de servidores de 10 000 millones de dólares entre xAI y Oracle. Musk indicó que la Gigafábrica de Computación de xAI, cuya entrada en funcionamiento estaba prevista para otoño de 2025, ha comenzado a operar antes de lo previsto.

xAI había externalizado previamente sus chips de IA a Oracle, pero decidió desvincularse para desarrollar su propia supercomputadora avanzada. El proyecto ahora planea aprovechar el potencial de las GPU H100 de última generación, cuyo coste aproximado es de 30.000 dólares cada una. GROK 2 utilizó 20.000 GPU, y GROK 3 necesitó cinco veces más para construir un chatbot de IA más sofisticado. 

Lea también:Elon Musk busca la opinión pública sobre la inversión de 5 mil millones de dólares en xAI para Tesla

Esto es bastante sorprendente, sobre todo porque NVIDIA acaba de anunciar el próximo lanzamiento de las GPU H200, basadas en la arquitectura Hopper. La decisión es comenzar a entrenar con GPU H100 en lugar de esperar a la H200 o a las próximas GPU B100 y B200 basadas en Blackwell. Las GPU H200, que entraron en producción en masa en el segundo trimestre, prometen mejoras significativas de rendimiento, pero el enfoque inmediato de xAI es aprovechar la infraestructura H100 existente para alcanzar sus ambiciosos objetivos.

Un analista cuestiona el suministro de energía para el supercúmulo de Memphis

Dylan Patel, experto en IA y semiconductores, expresó inicialmente su preocupación por los problemas de energía asociados con la operación del supercúmulo de Memphis. Señaló que el suministro actual de la red, de 7 megavatios, solo puede abastecer a unas 4000 GPU. Se espera que la Autoridad del Valle de Tennessee (TVA) suministre 50 MW a la instalación, según un acuerdo que se espera se firme para el 1 de agosto. Sin embargo, la subestación necesaria para satisfacer la demanda total de energía no se completará hasta finales de 2024. 

Al analizar imágenes satelitales, Patel señaló que Musk ha empleado 14 generadores móviles VoltaGrid, cada uno con una capacidad de 2,5 megavatios. En total, estos generadores producen 35 megavatios de electricidad. Además de los 8 MW de la red, esto suma un total de 43 MW, suficiente para alimentar unas 32 000 GPU H100 con cierta limitación de potencia.