일론 머스크, NVIDIA H100 GPU를 활용한 GROK 3 교육 과정 멤피스에서 발표

일론 머스크는 엔비디아의 최신 H100 GPU가 탑재된 멤피스 슈퍼컴퓨터 시설에서 GROK 3 학습을 공식적으로 시작했다고 발표했습니다. 머스크가 '세계에서 가장 강력한 AI 학습 클러스터'라고 언급한 이 시설은 단일 RDMA 패브릭에서 10만 개의 액체 냉각식 H100 GPU를 활용하여 월요일부터 가동을 시작했습니다.

훈련은 멤피스 현지 시간으로 오전 4시 20분에 예정되어 있었습니다. 머스크는 이후 트윗에서 세계에서 "가장 진보된 AI"가 올해 12월까지 개발될 수 있다고 밝혔습니다. 또한 X 플랫폼에서의 성과에 대해 트윗하며 xAI, X, NVIDIA 팀의 훌륭한 노력에 축하를 전했습니다. 

xAI, 전략 변경 후 오라클 서버 계약 취소

이번 발표는 xAI와 오라클 간의 100억 달러 규모 서버 계약이 최근 취소된 직후에 나온 것입니다. 머스크는 당초 2025년 가을 가동 예정이었던 xAI 기가팩토리 오브 컴퓨트가 예정보다 앞당겨 가동을 시작했다고 밝혔습니다.

xAI는 이전에는 오라클로부터 AI 칩을 외주 생산했지만, 자체적인 첨단 슈퍼컴퓨터 개발을 위해 오라클과의 계약을 해지하기로 결정했습니다. 이 프로젝트는 이제 개당 약 3만 달러에 달하는 최첨단 H100 GPU의 잠재력을 활용할 계획입니다. GROK 2는 2만 개의 GPU를 사용했고, GROK 3는 더욱 정교한 AI 챗봇을 구축하기 위해 그 다섯 배에 달하는 GPU가 필요했습니다. 

관련 기사:일론 머스크, 테슬라의 xAI 50억 달러 투자에 대한 여론 수렴

이는 상당히 놀라운 일인데, 특히 NVIDIA가 최근 Hopper 아키텍처 기반의 H200 GPU 출시를 발표했기 때문입니다. H200이나 곧 출시될 Blackwell 기반의 B100 및 B200 GPU를 기다리지 않고 H100 GPU로 학습을 시작하기로 한 결정은 더욱 의외입니다. 2분기에 양산에 들어간 H200 GPU는 상당한 성능 향상을 약속하지만, xAI는 당장 기존 H100 인프라를 활용하여 야심찬 목표를 달성하는 데 집중하고 있습니다.

분석가, 멤피스 슈퍼클러스터 전력 공급에 의문 제기

인공지능 및 반도체 전문가인 딜런 파텔은 문제를 초기에 제기했습니다 . 그는 현재 전력망에서 공급되는 7메가와트(MW)의 전력으로는 약 4,000개의 GPU만 가동할 수 있다고 지적했습니다. 테네시 밸리 공사(TVA)는 8월 1일까지 체결될 것으로 예상되는 계약에 따라 해당 시설에 50MW의 전력을 공급할 예정입니다. 그러나 전체 전력 수요를 충족하는 데 필요한 변전소는 2024년 말에야 완공될 예정입니다. 

위성 이미지를 분석한 결과, 파텔은 머스크가 각각 2.5메가와트의 전력을 생산할 수 있는 볼타그리드(VoltaGrid) 이동식 발전기 14대를 사용하고 있음을 확인했습니다. 이 발전기들을 모두 합치면 총 35메가와트의 전력을 생산할 수 있습니다. 여기에 전력망에서 공급받는 8메가와트를 더하면 총 43메가와트가 되는데, 이는 전력 제한을 적용하더라도 약 32,000개의 H100 GPU에 전력을 공급하기에 충분한 양입니다.