Nvidia представляет Cosmos WFMs для развития робототехники и физического ИИ

Nvidia представила платформу Cosmos, работающую на основе мировых моделей, которые разработчики физического ИИ будут использовать для обучения агентов видеоаналитики, автономных транспортных средств (AV) и роботов. Компания утверждает, что мировые модели Cosmos используют структурированное рассуждение над изображениями и видео, чтобы «понимать физический мир так же, как люди».   

Технологическая компания заявил она помогала разработчикам создавать базовые модели. Она объяснила, что платформа Cosmos позволяет разработчикам настраивать готовые предобученные модели для специализированных моделей физического ИИ. Nvidia утверждает, что Cosmos использует «пространственно-временное понимание» физического мира для курирования данных, которые обучают принятию решений в робототехнике и беспилотных автомобилях.

Компания также добавила, что фреймворк Cosmos Curator позволяет разработчикам фильтровать, аннотировать и удалять дубликаты из огромных объемов данных с датчиков. Разработчики используют эти данные для создания адаптированных наборов данных, соответствующих конкретным потребностям физического ИИ. Мировые базовые модели Cosmos также могут генерировать данные для последующих конвейеров при разработке промышленных систем компьютерного зрения.

Cosmos поставляется с базовыми моделями Predict, Transfer и Reason 

По словам команды Nvidia, платформа Cosmos имеет модель предсказания Predict, позволяющую разработчикам генерировать непрерывные видео длительностью до 30 секунд. Видео генерируются на основе мультимодальных входных данных со строгим соблюдением подсказок.

Transfer — это модель с множественным управлением, которая позволяет разработчикам моделировать различные среды и условия освещения. Технологическая компания также заявила, что Transfer может ускорить обработку 3D-входов из фреймворков симуляции физического ИИ CARLA и Nvidia Isaac Sim для обеспечения «контролируемой аугментации данных».   

Nvidia заявила, что Cosmos Reason использует полностью настраиваемую VLM (модель визуального языка), которая понимает реальный физический мир так же, как люди. Reason обеспечивает работу агентов видеоаналитики, которые понимают процессы в промышленных и городских пространствах. Он курирует обучающие данные, используемые для принятия решений.

Технологическая компания раскрыла, что разработчики могут использовать базовые модели для генерации данных для обучения ИИ-моделей в промышленных и робототехнических приложениях, таких как заводские роботы, автоматизированные склады и автономные транспортные средства на шоссе или пересеченной местности.

Nvidia также заявила, что эти базовые модели были обучены на немаркированных наборах данных для генерации новых данных на основе пользовательских вводов. Она добавила, что разработчики могут использовать эту обобщаемость для тонкой настройки предобученных моделей с использованием меньших наборов данных для создания пользовательских моделей. Разработчики также могут обучать различные автономные машины воспринимать и взаимодействовать с различными окружающими условиями.

Nvidia питает «цифровых двойников»

Технологическая компания . Компания считает, что FRUT будет служить «единым билетом» для выражения платформенных и аппаратных аспектов искусственного интеллекта. Это просто означает, что инвесторы получают доступ к инфраструктуре ИИ с одним продуктом, вместо того чтобы смешивать разных производителей чипов и названия платформ. выпуск библиотек Omniverse 11 августа. Nvidia добавила, что библиотеки работают на базе ее серверов RTX PRO и DGX Cloud, позволяя разработчикам создавать физически точных цифровых двойников. Синтетические данные могут быть сгенерированы путем захвата и реконструкции реального мира в симуляции для создания ИИ-агентов и обучения моделей физического ИИ. 

Рев Лебаредиан, вице-президент по технологиям Omniverse и симуляции в Nvidia, сказал, что его компания привержена обеспечению возможности для разработчиков создавать роботов и автономные транспортные средства будущего. Он объяснил, что ИИ и компьютерная графика сходятся, чтобы трансформировать базовые принципы робототехники. Лебаредиан считает, что эти технологии «трансформируют отрасли на триллионы долларов». 

Nvidia раскрыл, что библиотеки и SDK (наборы инструментов для разработки программного обеспечения) Omniverse теперь доступны для разработчиков для создания и развертывания симуляций робототехники и промышленных ИИ-приложений. SDK обеспечивают интероперабельность данных между OpenUSD (Universal Scene Description) и MJCF (MuJoCo), позволяя симулировать роботов на разных платформах. Также техника «RTX ray-traced 3D Gaussian splatting» позволяет разработчикам захватывать, реконструировать и моделировать физические среды в реальном мире в 3D с использованием данных датчиков. 

Nvidia заявила, что Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon и Lightwheel приняли Omniverse и Isaac Suite (Sim и Lab) для ускорения своих проектов робототехники, основанных на ИИ. Amazon Devices & Services также использует эти системы Nvidia для питания своих новейших производственных решений.