엔비디아, 쿠버네티스 AI 워크로드용 GPU 기능 확장

인 엔비디아는인공지능(AI) 워크로드의 배포 및 관리를 향상시키기 위해 인기 있는 클라우드 네이티브 오케스트레이션 플랫폼인 쿠버네티스(Kubernetes)에 대한 지원을 강화하고 있습니다. 최근 기조연설에서 엔비디아는 쿠버네티스 환경 내에서 GPU 활용도와 리소스 관리를 최적화하기 위한 여러 가지 계획을 발표했습니다.

엔비디아 피카소: AI 개발의 기반

엔비디아는 컴퓨터 비전 작업에 필요한 핵심 모델의 개발 및 배포를 간소화하도록 설계된 생성형 AI 파운드리인 엔비디아 피카소(Nvidia Picasso)를 출시하며 중요한 행보를 보였습니다. 쿠버네티스(Kubernetes)를 기반으로 구축된 엔비디아 피카소는 학습부터 추론에 이르기까지 모델 개발 수명주기 전반을 지원합니다. 이번 발표는 쿠버네티스를 활용하고 클라우드 네이티브 생태계에 기여함으로써 AI 인프라를 발전시키고자 하는 엔비디아의 의지를 보여줍니다.

엔비디아는 쿠버네티스 클러스터에서 AI 워크로드를 실행하는 데 따르는 다양한 과제를 적극적으로 해결하고 있습니다. 엔지니어링 매니저인 산제이 차터지는 토폴로지 인식 배치, 내결함성, 다차원 최적화라는 세 가지 주요 영역에 중점을 두고 있다고 밝혔습니다.

토폴로지 인식 배치는 대규모 클러스터 내에서 노드와 AI 워크로드 간의 거리를 최소화하여 GPU 활용도를 최적화하고 클러스터 점유율과 성능을 향상시킵니다. 내결함성 스케줄링은 결함이 있는 노드를 조기에 감지하고 워크로드를 정상적인 노드로matic재배포하여 학습 작업의 신뢰성을 높입니다. 이는 성능 병목 현상과 잠재적인 오류를 방지하는 데 매우 중요합니다. 

다차원 최적화는 GPU 클러스터 내의 전역 제약 조건을 고려하여 결정론적 결정을 내리는 구성 가능한 프레임워크를 통해 개발자의 요구 사항과 비즈니스 목표, 비용 고려 사항 및 복원력 요구 사항의 균형을 맞춥니다.

동적 리소스 할당(DRA): 개발자 역량 강화

의 저명한 엔지니어인 케빈 클루스는 엔비디아타사 개발자가 리소스 할당을 더욱 세밀하게 제어할 수 있도록 설계된 쿠버네티스 API인 동적 리소스 할당(DRA)에 대해 설명했습니다. 알파 버전인 DRA를 통해 개발자는 리소스를 직접 선택하고 구성할 수 있어 컨테이너와 파드 간의 리소스 공유를 더욱 효과적으로 관리할 수 있습니다. 이러한 중요한 발전은 GPU 활용도 및 리소스 관리를 최적화하려는 엔비디아의 노력에 큰 도움이 될 것입니다.

엔비디아의 최신 GPU 제품인 B200 블랙웰은 AI 모델 학습을 위한 기존 GPU 성능을 두 배로 향상시키고, 하드웨어 기반의 안정성을 지원합니다. 엔비디아는 이러한 기술 발전을 활용하고 GPU 확장성 문제를 효과적으로 해결하기 위해 쿠버네티스 커뮤니티와 적극적으로 협력하고 있습니다. GPU 리소스 관리를 위한 저수준 메커니즘에 대한 커뮤니티와의 협력은 쿠버네티스에서 GPU 가속 AI 워크로드의 확장성과 효율성을 향상시키려는 엔비디아의 노력을 보여줍니다.

앞으로 나아갈 길

엔비디아가 쿠버네티스 환경을 위한 GPU 기능을 지속적으로 혁신하고 확장함에 따라, AI 워크로드와 쿠버네티스의 통합은 새로운 차원으로 도약할 전망입니다. 쿠버네티스가 AI 모델 배포를 위한 선호 플랫폼으로 자리 잡았지만, 엔비디아는 쿠버네티스에서 AI 워크로드를 가속화하기 위해 GPU의 잠재력을 최대한 활용하려면 아직 해야 할 일이 많다고 인정합니다. 

엔비디아와 클라우드 네이티브 개발 커뮤니티의 지속적인 노력으로 쿠버네티스 환경 내에서 GPU 가속 AI 배포 및 관리에 있어 유망한 발전이 기대됩니다.