엔비디아, 새로운 오픈 AI 모델 및 도구로 물리적 및 디지털 AI 발전

엔비디아는 자율주행을 위한 Nvidia Drive Alpamayo-R1(AR1)을 포함한 물리적 및 디지털 AI를 위한 새로운 도구와 오픈 모델 개발을 발표했다. 이 기술 거인은 NeurIPS AI 컨퍼런스에서 오픈 AI 모델, 도구 및 데이터셋의 클러스터를 더욱 확대하고 있다고 발표했다.

엔비디아는 새로운 오픈 물리적 및 디지털 AI 모델이 AI 산업 및 그 이상의 연구를 지원하기를 목표로 한다고 밝혔다. 알파마요-R1은 자율주행차를 위한 세계 최초의 산업 규모 오픈 추론 비전 언어 액션(VLA) 모델이라고 홍보했다. 칩메이커는 또한 AI 안전 및 음성 관련 새로운 데이터셋과 모델의 출시를 시사했다. 

이 기술 기업의 연구원들은 컨퍼런스에서 발표할 70개 이상의 논문, 워크숍 및 발표를 준비했다. 회사는 의료 연구, 자율주행, AI 추론에 이르는 혁신적인 프로젝트들을 공유하고 있다. 

엔비디아, 오픈 소스에 대한 더 강한 약속

이 기술 거인은 증명했다 AI 행사에서 오픈 소스에 대해 더 실질적인 약속을 보여주었으며, 이 노력은 AI 벤치마킹 플랫폼인 Artificial Analysis의 새로운 오픈니스 인덱스로 인정받았다. Artificial Analysis 오픈 인덱스는 회사의 Nemotron AI 도구 패밀리를 사용 가능한 최고의 수준으로 평가했다. 이 평가는 공유된 기술 정보의 양, 모델 라이선스 사용의 용이성, 데이터 사용 규정의 명확성에 기반한다. 

한편, AR1(Alpamayo-R1)은 사슬 사고(chain-of-thought) AI 추론과 경로 계획을 통합하여 레벨 4 자율주행을 가능하게 하고 다양한 도로 시나리오에서 AV(자율주행차) 안전성을 향상시킨다. 칩메이커는 이전 버전의 자율주행 모델이 보행자가 많은 교차로, 자전거 차선에 이중 주차된 차량, 또는 접근하는 도로 폐쇄와 같은 상황에서 어려움을 겪었다고 말했다. 그러나 추론은 자율주행차에게 인간처럼 운전할 수 있는 상식을 제공한다.

AR1 모델은 시나리오를 분해하고 각 단계를 추론하여 모든 가능한 결과를 고려함으로써 이를 달성한다. 그런 다음 문맥 데이터를 사용하여 가장 효과적인 조치 계획을 결정한다. 

엔비디아 AR1이 사슬 사고 추론을 활용하여 경로상의 데이터를 처리하고 정보를 사용하여 보행자를 위해 정차하는 등의 궤적을 계획한다고 주장한다. 모델의 오픈 기반은 연구자들이 비상업적 용도에 맞게 사용자 정의할 수 있는 기술 기업의 Cosmos Reason에 기반한다. 

칩메이커에 따르면 연구원들은 AR1 모델을 벤치마킹이나 AV를 위한 실험용 애플리케이션 개발을 위해 사용자 정의할 수도 있다. Nvidia Drive Alpamayo-R1은 Hugging Face와 GitHub에서 제공되며, 모델 학습 및 평가에 사용되는 데이터의 하위 집합은 Nvidia Physical AI Open Datasets에서 사용할 수 있다. 

강화 학습이 AR1의 사후 훈련에 효과적임이 입증 

엔비디아 연구원들은 강화 학습이 AR1의 사후 훈련에 효과적임을 입증했다고 주장했다. 그들은 개발자들이 Cosmos를 기반으로 단계별 추론을 사용하여 모델을 사용하는 방법과 사후 훈련하는 방법을 배울 수 있다고 지적했다. 연구원들은 빠른 시작 추론과 고급 사후 훈련의 예시는 Cosmos Cookbook에서 찾을 수 있다고 말했다. 물리적 AI 개발자를 위한 이 포괄적인 가이드는 단계별 데이터 큐레이션, 모델 평가 및 합성 데이터 생성을 다룬다.

한편, 칩메이커는 Cosmos 기반 애플리케이션의 가능성이 거의 무한하다고 말했다. 이 기술 거인은 LidarGen, Omniverse NuRec Fixer, Cosmos Policy, ProtoMotions3 등 Cosmos 기반 애플리케이션의 예를 제공했다. 

이 기술 기업은 LidarGen이 자율주행 시뮬레이션을 위한 리다르 데이터를 생성한 세계 최초의 모델이라고 자랑했다. 또한 로봇공학 및 AV 시뮬레이션을 위한 Omniverse NuRec Fixer 모델이 Nvidia의 Cosmos Predict를 활용한다고 언급했다. 

ProtoMotions3는 Nvidia Newton과 Isaac Lab 위에 구축된 오픈 소스 GPU 가속 프레임워크다. 칩메이커에 따르면 이 프레임워크는 물리적으로 시뮬레이션된 휴머노이드 로봇과 디지털 인간을 훈련하는 데 사용될 수 있다. Cosmos 세계 기반 모델(WFMs)은 현실적인 장면을 생성하는 데 사용될 수 있다.

엔비디아는 정책 모델을 Isaac SIM 및 Isaac Lab에서 훈련할 수 있다고도 언급했다. 정책 모델에서 생성된 데이터는 칩메이커의 Groot N 로봇공학용 모델을 사후 훈련하는 데 사용될 수 있다.