일론 머스크, 멤피스에서 NVIDIA H100 GPU로 GROK 3 훈련 발표

일론 머스크는 현재 세대 NVIDIA H100 GPU를 갖춘 멤피스 슈퍼컴퓨터 시설에서 GROK 3 훈련 시작을 공식적으로 발표했습니다. 머스크가 '세계에서 가장 강력한 AI 훈련 클러스터'라고 부르는 이 시설은 월요일 단일 RDMA 파브릭에서 100,000개의 액체 냉각 H100 GPU의 도움으로 운영을 시작했습니다.

훈련은 멤피스 현지 시간 오전 4시 20분에 예정되었습니다. 이어진 트윗에서 머스크는 올해 12월까지 세계의 '가장 진보된 AI'가 개발될 수 있다고 밝혔습니다. 머스크는 X에서 이 성취에 대해 트윗하고 xAI, X 및 NVIDIA 팀의 훌륭한 작업을 축하했습니다. 

xAI 전략 변경 및 오라클 서버 계약 취소

이 발표는 최근 xAI와 오라클 간의 100억 달러 서버 계약 취소 직후 이루어졌습니다. 머스크는 xAI 컴퓨팅 기가팩토리가 원래 2025년 가을에 가동될 것으로 예상되었지만 일정에 앞서 운영을 시작했다고 나타냈습니다.

xAI는 이전에 오라클에서 AI 칩을 아웃소싱했지만 자체 고급 슈퍼컴퓨터를 개발하기 위해 관계를 끊기로 결정했습니다. 이 프로젝트는 이제 각각 약 $30,000에 판매되는 최첨단 H100 GPU의 잠재력을 활용하는 것을 계획하고 있습니다. GROK 2는 20,000개의 GPU를 사용했으며, GROK 3는 더 정교한 AI 채팅봇을 구축하기 위해 5배 더 많은 GPU가 필요했습니다. 

함께 읽기:일론 머스크, 테슬라를 위한 50억 달러 xAI 투자에 대한 공개 의견 구하기

이는 특히 NVIDIA가 최근 Hopper 아키텍처를 기반으로 한 H200 GPU의 출시를 방금 발표했기 때문에 매우 놀랍습니다. H200 또는 다가오는 Blackwell 기반 B100 및 B200 GPU를 기다리는 대신 H100 GPU로 훈련을 시작하기로 한 결정입니다. 2분기에 대량 생산에 들어간 H200 GPU는 상당한 성능 향상을 약속하지만, xAI의 즉각적인 초점은 야심 찬 목표를 달성하기 위해 기존 H100 인프라를 활용하는 데 있습니다.

분석가, 멤피스 슈퍼클러스터의 전력 공급에 의문 제기

AI 및 반도체 전문가인 딜런 패터일은 처음에 멤피스 슈퍼클러스터 운영에 대한 전력 우려를 제기했습니다. 그는 현재 7메가와트의 그리드 공급량이 약 4,000개의 GPU만 지속할 수 있다고 지적했습니다. 테네시 밸리 발전국(TVA)은 8월 1일까지 서명될 것으로 예상되는 거래를 통해 시설에 50MW를 공급할 것으로 예상됩니다. 그러나 전체 전력 수요를 충족하기 위해 필요한 변전소는 2024년 후반에야 완공될 예정입니다.

위성 이미지를 분석할 때 패터일은 머스크가 2.5메가와트를 각각 생성할 수 있는 14개의 볼타그리드 모바일 발전기를 고용했다고 지적했습니다. 이 발전기들은 총 35메가와트의 전기를 생산합니다. 그리드에서 8MW를 추가하면 총 43MW가 되어 일부 전력 제한으로 약 32,000개의 H100 GPU에 전력을 공급하기에 충분합니다.