Илон Маск объявляет о запуске обучения GROK 3 в Мемфисе с использованием GPU NVIDIA H100

Илон Маск официально объявил о начале обучения модели GROK 3 на суперкомпьютерной установке в Мемфисе, оснащенной графическими процессорами H100 текущего поколения от NVIDIA. Установка, которую Маск называет «самым мощным в мире кластером для обучения ИИ», начала работу в понедельник с использованием 100 000 жидкостно-охлаждаемых GPU H100, объединенных в единую сеть RDMA.

Обучение было запланировано на 4:20 утра по местному времени в Мемфисе. В своем последующем твите Маск заявил, что самый «продвинутый в мире ИИ» может быть разработан к декабрю этого года. Маск также опубликовал сообщение об этом достижении в X и поздравил команды xAI, X и NVIDIA с отличной работой. 

xAI меняет стратегию и отменяет сделку с Oracle по серверам

Это объявление последовало за недавней отменой сделки между xAI и Oracle на сумму 10 миллиардов долларов на поставку серверов. Маск указал, что завод xAI Gigafactory of Compute, который изначально должен был начать работу осенью 2025 года, уже начал функционировать раньше срока.

Ранее xAI использовала чипы для ИИ от Oracle, но решила отказаться от этого сотрудничества, чтобы разработать собственный передовой суперкомпьютер. Теперь проект планирует использовать потенциал новейших графических процессоров H100, стоимость каждого из которых составляет около 30 000 долларов. Для GROK 2 использовалось 20 000 GPU, а для создания более сложного чат-бота GROK 3 потребовалось в пять раз больше графических процессоров. 

Также читайте:Илон Маск запрашивает общественное мнение о инвестиции в размере $5 млрд в xAI для Tesla

Это довольно неожиданно, особенно учитывая, что NVIDIA недавно объявила о скором выпуске графических процессоров H200, основанных на архитектуре Hopper. Решение начать обучение на GPU H100 вместо ожидания H200 или forthcoming GPU на базе Blackwell — B100 и B200. GPU H200, поступившие в массовое производство во втором квартале, обещают значительное повышение производительности, но непосредственный фокус xAI направлен на использование существующей инфраструктуры H100 для достижения своих амбициозных целей.

Аналитик ставит под вопрос энергоснабжение суперкомпьютерного кластера в Мемфисе

Дилан Пател, эксперт в области искусственного интеллекта и полупроводников, изначально высказывал опасения по поводу проблем с энергоснабжением при работе суперкомпьютерного кластера в Мемфисе. Он отметил, что текущая мощность электросети в 7 мегаватт способна обеспечить работу лишь около 4000 графических процессоров (GPU). Ожидается, что Теннессийская корпорация долины (TVA) обеспечит объект мощностью 50 МВт по договору, который, как ожидается, будет подписан 1 августа. Однако подстанция, необходимая для покрытия полной потребности в электроэнергии, будет готова только в конце 2024 года.

При анализе спутниковых снимков Пател отметил, что Маск использовал 14 мобильных генераторов VoltaGrid, каждый из которых может выдавать 2,5 мегаватта. Вместе эти генераторы производят 35 мегаватт электроэнергии. В дополнение к 8 МВт от сети это дает общую мощность 43 МВт, чего достаточно для питания около 32 000 GPU H100 с некоторым ограничением мощности.