Nvidia представляет Cosmos WFMs для развития робототехники и физического искусственного интеллекта

Компания Nvidia представила платформу Cosmos , основанную на моделях окружающего мира, которые разработчики физического ИИ будут использовать для обучения агентов видеоаналитики, автономных транспортных средств и роботов. Компания утверждает, что модели окружающего мира Cosmos используют структурированное рассуждение об изображениях и видео, чтобы «понимать физический мир подобно человеку»   

Технологическая компания заявила, что помогает разработчикам создавать базовые модели. Она пояснила, что Cosmos позволяет разработчикам настраивать готовые предварительно обученные модели для специализированных моделей физического ИИ. Nvidia утверждает, что Cosmos использует «пространственно-временное понимание» физического мира для обработки данных, которые используются для обучения принятию решений в робототехнике и беспилотных автомобилях.

Компания также добавила, что платформа Cosmos Curator позволяет разработчикам фильтровать, аннотировать и удалять дубликаты из огромных массивов данных с датчиков. Разработчики используют эти данные для создания специализированных наборов данных, отвечающих конкретным потребностям физического ИИ. Модели Cosmos World Foundation также могут генерировать данные для последующих этапов разработки промышленных систем машинного зрения.

Cosmos включает в себя базовые модели Predict, Transfer и Reason 

По данным команды Nvidia, платформа Cosmos использует модель прогнозирования Predict, позволяющую разработчикам создавать непрерывные видеоролики продолжительностью до 30 секунд. Видео создаются на основе мультимодальных входных данных со строгим соблюдением заданий.

Transfer — это многофункциональная модель управления, позволяющая разработчикам моделировать различные среды и условия освещения. Технологическая компания также заявила, что Transfer может ускорить обработку 3D-данных из фреймворков физического ИИ CARLA и Nvidia Isaac Sim, что позволяет осуществлять «управляемое расширение данных»   

Компания Nvidia заявила, что Cosmos Reason использует полностью настраиваемую модель визуального языка (VLM), которая понимает реальный физический мир подобно человеку. Reason используется в агентах видеоаналитики, которые понимают операции в промышленных и городских пространствах. Он отбирает обучающие данные, используемые для принятия решений.

Технологическая компания сообщила, что разработчики могут использовать базовые модели для генерации данных для обучения моделей ИИ в промышленных и робототехнических приложениях, таких как заводские роботы, автоматизированные склады и беспилотные автомобили на автомагистралях или пересеченной местности.

Nvidia также заявила, что эти базовые модели были обучены с использованием неразмеченных наборов данных для генерации новых данных на основе пользовательского ввода. Компания добавила, что разработчики могут использовать эту обобщаемость для тонкой настройки предварительно обученных моделей с использованием меньших наборов данных для создания пользовательских моделей. Разработчики также могут обучать различные автономные машины распознавать окружающую среду и взаимодействовать с ней.

Nvidia обеспечивает работу «цифровых двойников»

Технологическая компания объявила о выпуске библиотек Omniverse 11 августа. Nvidia добавила, что библиотеки работают на базе серверов RTX PRO и облачной платформы DGX, что позволяет разработчикам создавать физически точные цифровые двойники. Синтетические данные могут быть сгенерированы путем захвата и реконструкции реального мира в симуляции для создания агентов ИИ и обучения физических моделей ИИ. 

Преподобный Лебаредян, вице-dent Nvidia по технологиям Omniverse и Simulation, заявил, что его компания стремится дать разработчикам возможность создавать роботов и беспилотные автомобили будущего. Он пояснил, что искусственный интеллект и компьютерная графика сходятся, чтобы трансформировать основные принципы робототехники. Лебаредян считает, что эти технологии «преобразят отрасли на триллионы долларов» 

Компания Nvidia сообщила о том, что библиотеки Omniverse и SDK (комплекты разработки программного обеспечения) теперь доступны разработчикам для создания и развертывания приложений для моделирования робототехники и промышленного искусственного интеллекта. SDK обеспечивают совместимость данных между OpenUSD (Universal Scene Description) и MJCF (MuJoCo), что позволяет моделировать роботов на разных платформах. Техника «RTX ray-traced 3D Gaussian splatting» также позволяет разработчикам захватывать, реконструировать и моделировать физическую среду в реальном мире в 3D, используя данные датчиков. 

Компания Nvidia заявила, что Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon и Lightwheel внедрили Omniverse и Isaac Suite (Sim и Lab) для ускорения своих проектов в области робототехники с использованием искусственного интеллекта. Amazon Devices & Services также использовала эти системы Nvidia для своих новейших решений в области производства.