Илон Маск анонсировал обучение по технологии GROK 3 в Мемфисе с использованием графических процессоров NVIDIA H100

Илон Маск официально объявил о начале обучения GROK 3 на суперкомпьютерном центре в Мемфисе, оснащенном графическими процессорами NVIDIA H100 текущего поколения. Центр, который Маск называет «самым мощным кластером для обучения ИИ в мире», начал работу в понедельник с помощью 100 000 графических процессоров H100 с жидкостным охлаждением, объединенных в единую сеть RDMA.

Тренировка была запланирована на 4:20 утра по местному времени в Мемфисе. В своем последующем твите Маск заявил, что «самый передовой в мире ИИ» может быть разработан к декабрю этого года. Маск также написал в Твиттере о достижении на платформе X и поздравил команды xAI, X и NVIDIA с их превосходной работой. 

Компания xAI меняет стратегию и отменяет сделку с Oracle по поставке серверов

Это заявление прозвучало после недавней отмены сделки по закупке серверов на сумму 10 миллиардов долларов между xAI и Oracle. Маск сообщил, что гигафабрика xAI по производству вычислительных ресурсов, запуск которой первоначально ожидался к осени 2025 года, началась раньше запланированного срока.

Ранее компания xAI заказывала у Oracle чипы для искусственного интеллекта, но затем решила отказаться от сотрудничества, чтобы разработать собственный передовой суперкомпьютер. Теперь проект планирует использовать потенциал современных графических процессоров H100, стоимость каждого из которых составляет около 30 000 долларов. В проекте GROK 2 использовалось 20 000 графических процессоров, а для создания более сложного чат-бота с искусственным интеллектом в GROK 3 потребовалось в пять раз больше. 

Читайте также:Илон Маск запрашивает общественное мнение об инвестициях Tesla в размере 5 миллиардов долларов в области xAI.

Это довольно удивительно, особенно учитывая, что NVIDIA совсем недавно анонсировала предстоящий выпуск графических процессоров H200, основанных на архитектуре Hopper. Решение начать обучение с использованием графических процессоров H100 вместо того, чтобы ждать H200 или грядущих графических процессоров B100 и B200 на базе архитектуры Blackwell, является неожиданным. Графические процессоры H200, серийное производство которых началось во втором квартале, обещают значительное повышение производительности, но в настоящее время xAI сосредоточена на использовании существующей инфраструктуры H100 для достижения своих амбициозных целей.

Аналитик ставит под сомнение электроснабжение суперкластера в Мемфисе

Дилан Патель, эксперт в области искусственного интеллекта и полупроводников, первоначально выразил обеспокоенность по поводу проблем с электроснабжением суперкластера в Мемфисе. Он отметил, что текущая мощность электросети в 7 мегаватт может обеспечить работу только около 4000 графических процессоров. Ожидается, что Управление долины Теннесси (TVA) поставит на объект 50 МВт электроэнергии, и соглашение, которое, как ожидается, будет подписано к 1 августа. Однако подстанция, необходимая для удовлетворения полного спроса на электроэнергию, будет завершена только в конце 2024 года. 

Анализируя спутниковые снимки, Патель отметил, что Маск использовал 14 мобильных генераторов VoltaGrid, каждый из которых может вырабатывать 2,5 мегаватта электроэнергии. В общей сложности эти генераторы производят 35 мегаватт электроэнергии. В дополнение к 8 МВт из сети это составляет 43 МВт, чего достаточно для питания около 32 000 графических процессоров H100 с некоторым ограничением мощности.