Elon Musk anuncia treinamento do GROK 3 em Memphis com GPUs NVIDIA H100

Elon Musk anunciou oficialmente o início do treinamento do GROK 3 na instalação do supercomputador de Memphis, equipada com as GPUs H100 de última geração da NVIDIA. A instalação, que Musk refere como 'o cluster de treinamento de IA mais poderoso do mundo', começou a operar na segunda-feira com a ajuda de 100.000 GPUs H100 resfriadas a líquido em uma única rede RDMA.

O treinamento estava agendado para as 4h20 da manhã, horário local em Memphis. Em seu tweet subsequente, Musk afirmou que a IA “mais avançada do mundo” poderia ser desenvolvida até dezembro deste ano. Musk também tweetou sobre a conquista no X e parabenizou as equipes da xAI, X e NVIDIA por seu excelente trabalho. 

xAI muda de estratégia e cancela acordo de servidores com a Oracle

O anúncio vem na esteira do recente cancelamento de um acordo de servidores de US$ 10 bilhões entre a xAI e a Oracle. Musk indicou que a Gigafábrica de Computação da xAI, inicialmente esperada para operar no outono de 2025, começou a operar antes do prazo.

A xAI havia terceirizado anteriormente seus chips de IA da Oracle, mas decidiu se desengajar para desenvolver seu próprio supercomputador avançado. O projeto agora planeja aproveitar o potencial das GPUs H100 de última geração, que custam cerca de US$ 30.000 cada. O GROK 2 usou 20.000 GPUs, e o GROK 3 precisou de cinco vezes mais GPUs para construir um chatbot de IA mais sofisticado. 

Também leia:Elon Musk busca opinião pública sobre investimento de US$ 5 bilhões na xAI para a Tesla

Isso é bastante surpreendente, especialmente porque a NVIDIA acabou de anunciar o lançamento iminente das GPUs H200, que são baseadas na arquitetura Hopper. A decisão de começar o treinamento com GPUs H100 em vez de esperar pelas H200 ou pelas futuras GPUs B100 e B200 baseadas em Blackwell. As GPUs H200, que entraram em produção em massa no Q2, prometem melhorias significativas de desempenho, mas o foco imediato da xAI é aproveitar a infraestrutura H100 existente para atingir suas metas ambiciosas.

Analista questiona o fornecimento de energia para o Supercluster de Memphis

Dylan Patel, especialista em IA e semicondutores, inicialmente levantou preocupações sobre questões de energia ao executar o Supercluster de Memphis. Ele apontou que o fornecimento atual da rede de 7 megawatts pode sustentar apenas cerca de 4.000 GPUs. A Autoridade do Vale do Tennessee (TVA) deve fornecer 50 MW à instalação, com um acordo que se espera seja assinado até 1º de agosto. No entanto, a subestação necessária para atender à demanda total de energia só estará concluída no final de 2024.

Ao analisar imagens de satélite, Patel observou que Musk empregou 14 geradores móveis VoltaGrid, que podem produzir 2,5 megawatts cada. No total, esses geradores produzem 35 megawatts de eletricidade. Além dos 8MW da rede, isso totaliza 43MW, o suficiente para alimentar cerca de 32.000 GPUs H100 com alguma limitação de potência.