AWS, Nvidia AI 칩을 위한 맞춤형 냉각 기술 구축

아마존의 클라우드 컴퓨팅 부문인 Amazon Web Services(AWS)는 Nvidia의 강력한 차세대 인공지능(AI) 칩의 온도를 적정 수준으로 유지하기 위해 맞춤형 냉각 시스템을 개발했습니다. 

수요일에 AWS는 고성능 Nvidia GPU를 갖춘 데이터 센터를 위해 설계된 맞춤형 액체 냉각 시스템인 In-Row Heat Exchanger(IRHX)를 개발했다고 발표했습니다.

채팅봇이나 이미지 생성기 등 오늘날 매우 인기 있는 대형 AI 모델을 훈련하는 데 사용되는 이러한 칩은 세계에서 가장 많은 전력을 소비하는 하드웨어 중 하나입니다. AI 워크로드에서의 이러한 칩의 인기가 높아지면서 전통적인 냉각 솔루션, 특히 공기 기반 냉각에 부담이 가고 있습니다.

시장에 확장 가능한 냉각 솔루션을 맡기는 대신, 아마존은 창의적인 해결책을 모색해야 했습니다. IRHX는 전면적인 재설계 없이도 기존 및 신규 데이터 센터 애플리케이션에 적합합니다. 이는 차가운 액체를 서버 행 근처로 순환시켜 빽빽하게 배치된 GPU에서 열을 제거함으로써 이를 달성합니다.

AWS의 컴퓨팅 및 머신러닝 서비스 부사장인 Dave Brown은 설명될 표준 냉각 솔루션이 그들의 요구에 적합하지 않다고 밝혔습니다. 그는 이러한 옵션이 너무 많은 데이터 센터 바닥 공간을 낭비하고 물을 비효율적으로 사용한다고 말했습니다. 이러한 시스템은 소규모 제공업체의 몇몇 캐비닛에서는 작동할 수 있지만, AWS의 규모를 지원하기所需的인 액체 냉각 용량이 부족하다고 그는 지적했습니다.

AWS, Nvidia Blackwell GPU를 탑재한 P6e 인스턴스 출시

AWS는 또한 방금 도입했습니다 P6e 인스턴스 를 출시했습니다. 이는 72개의 Blackwell GPU 를 하나의 랙에 담은 밀집형 슈퍼컴퓨팅 플랫폼인 Nvidia의 GB200 NVL72를 활용합니다. 이는 거대한 AI 모델과 생성형 AI 작업의 계산 집약적인 특성에 대처하도록 설계되었습니다.

지금까지 Microsoft와 CoreWeave와 같은 기업들만 이 차세대 GPU 클러스터를 제공해 왔습니다. 이제 AWS 고객은 최신 세대, 액체 냉각 NVIDIA A100 Tensor Core GPU를 powering하는 클라우드에서 이용 가능한 최신 및 가장 고급 맞춤형 GPU 머신러닝 훈련 인프라에 접근할 수 있습니다.

IRHX는 이러한 클러스터의 뜨거운 부분을 안전한 온도로 유지하여 과열 없이 최적의 성능을 제공합니다. IRHX를 데이터 센터 설계에 직접 통합함으로써 AWS는 액체 냉각을 위해 전체 구조를 개조하는 것을 기다리거나 비용이 많이 드는 건설을 지불하는 것을 피할 수 있습니다.

Brown은 P6e 출시 발표에서 GB200 NVL72 시스템을 Amazon의 IRHX와 결합함으로써 고객이 규모에 맞는 비교할 수 없는 컴퓨팅 파워를 활용할 수 있다고 언급했습니다. 또한 이를 통해 개발자, 연구원 및 기업은 과거보다 훨씬 더 크고 복잡한 AI 모델을 더 빠르고 효율적으로 훈련할 수 있게 됩니다.

아마존, 클라우드 인프라에서의 선도적 위치 강화

진행 중인 데이터 센터에서 자체 냉각 기술을 내부화하려는 노력은 아마존이 자체 인프라의 더 많은 부분을 소유하려는 더 넓은 전략을 드러냅니다. 최근 몇 년간 AWS는 칩, 저장 시스템 및 네트워킹 장비 를 개발하는 데 막대한 비용을 투자하여 클라우드 서비스를 powering해 왔습니다.

이러한 발전은 아마존이 제3자 공급업체에 대한 의존도를 더욱 줄이고 운영 성능과 비용 사이의 균형을 맞추는 데 도움이 됩니다.

이러한 접근 방식은 결실을 맺었습니다. 2025년 1분기, AWS는 해당 부문 설립 이후 최고 수준의 운영 마진을 기록했으며 이제 아마존 전체 수익성의 주요 엔진이 되었습니다. IRHX 출시로 AWS는 클라우드 산업에서의 혁신 리더십과 인프라 발자국을 확대했습니다.

다른 기술 거인들도 비슷한 행보를 보이고 있습니다. 예를 들어 Microsoft는 자체 AI 칩과 맞춤형 냉각 시스템인 Sidekicks를 구축했습니다. Google과 Meta도 AI 워크로드에 맞춤화된 하드웨어 및 시스템을 구축하는 방법을 조사 중입니다.

그러나 아마존은 중요한 우위를 가지고 있습니다. 그것은 광범위한 글로벌 데이터 센터 발자국과 규모에 맞는 맞춤형 하드웨어 구축 및 배포에 대한 수년간의 경험입니다. IRHX는 AI 준비 인프라를 간소화하여 더 효율적이고 지속 가능하며 확장 가능하게 만듦으로써 이를 강화할 수 있습니다.

AI가 점점 더 강력한 컴퓨팅 자원에 대한 수요를 주도함에 따라 IRHX와 같은 혁신은 그 어느 때보다 중요해지고 있습니다. 아마존은 클라우드에서 AI를 공급하기 위한 치열한 경쟁에서 경쟁력을 유지하고 미래 데이터 센터 설계의 모델이 될 모델을 확립하기 위해 전문 인프라에 대한 상당한 투자를 정당화합니다.