Elon Musk anuncia treinamento GROK 3 em Memphis com GPUs NVIDIA H100

Elon Musk anunciou oficialmente o início do treinamento do GROK 3 no supercomputador de Memphis, equipado com GPUs H100 de última geração da NVIDIA. O centro de computação, que Musk descreve como "o cluster de treinamento de IA mais poderoso do mundo", começou a operar na segunda-feira com o auxílio de 100.000 GPUs H100 refrigeradas a líquido em uma única malha RDMA.

O treinamento estava agendado para as 4h20 da manhã, horário local de Memphis. Em um tweet subsequente, Musk afirmou que a "IA mais avançada" do mundo poderia ser desenvolvida até dezembro deste ano. Musk também tuitou sobre a conquista no X e parabenizou as equipes da xAI, X e NVIDIA pelo excelente trabalho. 

xAI muda de estratégia e cancela acordo de servidores com a Oracle

O anúncio surge na sequência do recente cancelamento de um acordo de servidores de 10 mil milhões de dólares entre a xAI e a Oracle. Musk indicou que a Gigafábrica de Computação da xAI, inicialmente prevista para entrar em funcionamento no outono de 2025, iniciou as suas operações antes do previsto.

A xAI havia terceirizado anteriormente seus chips de IA da Oracle, mas decidiu romper esse vínculo para desenvolver seu próprio supercomputador avançado. O projeto agora planeja aproveitar o potencial das GPUs H100 de última geração, que custam cerca de US$ 30.000 cada. O GROK 2 utilizou 20.000 GPUs, e o GROK 3 precisou de cinco vezes mais GPUs para construir um chatbot de IA mais sofisticado. 

Leia também:Elon Musk busca opinião pública sobre investimento de US$ 5 bilhões em xAI para a Tesla

Isso é bastante surpreendente, especialmente porque a NVIDIA anunciou recentemente o lançamento das GPUs H200, baseadas na arquitetura Hopper. A decisão de iniciar o treinamento com GPUs H100 em vez de esperar pelas H200 ou pelas futuras GPUs B100 e B200 baseadas na arquitetura Blackwell. As GPUs H200, que entraram em produção em massa no segundo trimestre, prometem melhorias significativas de desempenho, mas o foco imediato da xAI é aproveitar a infraestrutura H100 existente para atingir suas metas ambiciosas.

Analista questiona o fornecimento de energia para o Supercluster de Memphis

Dylan Patel, especialista em IA e semicondutores, foi o primeiro a levantar preocupações sobre o consumo de energia para o funcionamento do Memphis Supercluster. Ele apontou que a atual capacidade de fornecimento de energia da rede elétrica, de 7 megawatts, só consegue alimentar cerca de 4.000 GPUs. A Tennessee Valley Authority (TVA) deverá fornecer 50 MW para o complexo, em um acordo que deve ser assinado até 1º de agosto. No entanto, a subestação necessária para atender à demanda total de energia só estará concluída no final de 2024. 

Ao analisar imagens de satélite, Patel observou que Musk utilizou 14 geradores móveis da VoltaGrid, cada um com capacidade de gerar 2,5 megawatts. Juntos, esses geradores produzem 35 megawatts de eletricidade. Somando-se aos 8 MW da rede elétrica, isso totaliza 43 MW, o suficiente para alimentar cerca de 32.000 GPUs H100, considerando alguma limitação de potência.