엔비디아, 로봇공학 및 물리적 AI 발전을 위한 Cosmos WFM 출시

엔비디아는 물리 AI 개발자들이 비디오 분석 AI 에이전트, 자율주행차(AV), 로봇을 학습시키는 데 사용할 월드 모델을 기반으로 하는 Cosmos 플랫폼을 공개했습니다. 엔비디아는 Cosmos 월드 모델이 이미지와 비디오에 구조적 추론을 적용하여 "인간처럼 물리적 세계를 이해한다"고 주장합니다   

엔비디아는 개발자들이 기초 모델을 구축하는 데 도움을 주고 있다고 Cosmos 플랫폼을 통해 개발자들은 특수 물리 AI 모델에 맞춰 사전 학습된 모델을 바로 사용할 수 있도록 맞춤 설정할 수 있다고 설명했습니다. 엔비디아는 Cosmos 물리적 세계에 대한 "시공간적 이해"를 활용하여 로봇 공학 및 자율주행 자동차의 의사결정 학습에 필요한 데이터를 선별한다고 강조했습니다. 밝혔습니다 .

또한 회사 측은 Cosmos 큐레이터 프레임워크를 통해 개발자들이 방대한 양의 센서 데이터를 필터링, 주석 처리 및 중복 제거할 수 있다고 밝혔습니다. 개발자들은 이 데이터를 활용하여 특정 물리적 AI 요구 사항을 충족하는 맞춤형 데이터 세트를 생성합니다. Cosmos 월드 파운데이션 모델은 산업용 비전 시스템 개발의 후속 파이프라인에 필요한 데이터도 생성할 수 있습니다.

Cosmos 예측, 전송 및 추론의 기본 모델을 제공합니다 

엔비디아 팀에 따르면 Cosmos 플랫폼에는 개발자가 최대 30초 길이의 연속 영상을 생성할 수 있는 예측 모델인 'Predict'가 탑재되어 있습니다. 이 영상은 다양한 입력값을 기반으로 엄격한 프롬프트에 따라 생성됩니다.

Transfer는 개발자가 다양한 환경과 조명 조건을 시뮬레이션할 수 있도록 하는 멀티 컨트롤 모델입니다. 이 기술 회사는 또한 Transfer가 CARLA 및 Nvidia Isaac Sim 물리 AI 시뮬레이션 프레임워크의 3D 입력을 가속화하여 "제어 가능한 데이터 증강"을 가능하게 한다고 밝혔습니다   

엔비디아는 Cosmos 리즌이 인간처럼 실제 물리적 세계를 이해하는 완벽하게 맞춤 설정 가능한 VLM(비전 언어 모델)을 사용한다고 밝혔습니다. 리즌은 산업 및 도시 공간에서의 운영을 이해하는 비디오 분석 에이전트를 구동하며, 의사 결정에 사용되는 학습 데이터를 선별합니다.

해당 기술 기업은 개발자들이 기반 모델을 활용하여 공장 로봇, 자동화 창고, 고속도로나 험지 주행용 자율주행차와 같은 산업 및 로봇 응용 분야에서 AI 모델 학습용 데이터를 생성할 수 있다고 밝혔습니다.

엔비디아는 이러한 기본 모델들이 레이블이 지정되지 않은 데이터셋을 사용하여 학습되었으며, 사용자 입력에 따라 새로운 데이터를 생성한다고 밝혔습니다. 또한 개발자들은 이러한 일반화 능력을 활용하여 더 작은 데이터셋으로 사전 학습된 모델을 미세 조정하고 맞춤형 모델을 구축할 수 있다고 덧붙였습니다. 개발자들은 다양한 환경을 감지하고 상호 작용할 수 있는 여러 자율 기계를 학습시킬 수도 있습니다.

엔비디아, '디지털 트윈' 기술에 힘을 실어주다

엔비디아는 발표했습니다. 이 라이브러리는 자사의 RTX PRO 서버와 DGX 클라우드를 기반으로 하며, 개발자들이 물리적으로 정확한 디지털 트윈을 구축할 수 있도록 지원한다고 덧붙였습니다. 시뮬레이션을 통해 현실 세계를 캡처하고 재구성하여 합성 데이터를 생성하고, 이를 바탕으로 AI 에이전트를 구축하고 물리적 AI 모델을 학습시킬 수 있습니다. 

엔비디아의 옴니버스 및 시뮬레이션 기술 부문dent 인 레브 레바레디안은 엔비디아가 개발자들이 미래의 로봇과 자율주행차를 만들 수 있도록 지원하는 데 전념하고 있다고 밝혔습니다. 그는 인공지능과 컴퓨터 그래픽 기술이 융합되어 로봇 공학의 기본 원리를 혁신하고 있다고 설명했습니다. 레바레디안 부사장은 이러한 기술들이 "수조 달러 규모의 산업을 변화시킬 것"이라고 확신했습니다 

엔비디아는 개발자들이 로봇 시뮬레이션 및 산업용 AI 애플리케이션을 구축하고 배포할 수 있도록 옴니버스 라이브러리와 SDK(소프트웨어 개발 키트)를 제공한다고 발표했습니다. SDK는 OpenUSD(범용 장면 설명)와 MJCF(MuJoCo) 간의 데이터 상호 운용성을 지원하여 다양한 플랫폼에서 로봇 시뮬레이션을 수행할 수 있도록 합니다. 또한 'RTX 레이trac3D 가우시안 스플래팅' 기술을 통해 개발자는 센서 데이터를 사용하여 실제 물리적 환경을 3D로 캡처, 재구성 및 시뮬레이션할 수 있습니다. 

엔비디아는 Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon, Lightwheel 등이 AI 기반 로봇 프로젝트를 가속화하기 위해 Omniverse와 Isaac Suite(Sim 및 Lab)를 도입했다고 밝혔습니다. 아마존 디바이스 앤 서비스(Amazon Devices & Services) 또한 최신 제조 솔루션에 이러한 엔비디아 시스템을 활용했습니다.