Nvidia продвигает физический и цифровой ИИ с помощью новых открытых моделей и инструментов

Nvidia представила новые инструменты и открытые модели для физического и цифрового ИИ, включая Nvidia Drive Alpamayo-R1 (AR1) для автономного вождения. Технологический гигант объявил на конференции NeurIPS AI, что продолжает расширять свой кластер открытых моделей ИИ, инструментов и наборов данных.

Nvidia заявила, что ее новые открытые модели физического и цифрового ИИ направлены на поддержку исследований в отрасли ИИ и за ее пределами. Компания похвалила свою модель Alpamayo-R1 как первую в мире отраслевую открытую модель рассуждения, зрения, языка и действий (VLA) для беспилотных автомобилей. Чипмейкер также намекнул на выпуск новых наборов данных и моделей для безопасности ИИ и обработки речи. 

Исследователи технологической компании подготовили более 70 статей, семинаров и докладов для презентации на конференции. Компания делится своими инновационными проектами, охватывающими медицинские исследования, автономное вождение и рассуждения ИИ. 

Nvidia демонстрирует более сильную приверженность открытому исходному коду

Технологический гигант продемонстрировал более существенную приверженность открытому исходному коду на мероприятии по ИИ, что было отмечено платформой бенчмаркинга ИИ Artificial Analysis с помощью ее нового Индекса открытости. Индекс открытости Artificial Analysis оценил семейство инструментов ИИ Nemotron компании как одно из лучших доступных. Оценка основана на объеме переданной технической информации, простоте использования лицензий на модели и ясности правил использования данных. 

Тем временем AR1 (Alpamayo-R1) интегрирует цепочку рассуждений ИИ с планированием пути, чтобы обеспечить уровень автономности 4 и повысить безопасность автономных транспортных средств (AV) в различных дорожных ситуациях. Чипмейкер заявил, что предыдущие итерации моделей автономного вождения испытывали трудности с ситуациями, такими как перекресток с большим количеством пешеходов, автомобиль, припаркованный двойным рядом в велосипедной полосе, или приближающееся закрытие дороги. Однако рассуждения дают автономным автомобилям здравый смысл, позволяющий водить как люди.

Модель AR1 достигает этого, разбивая сценарии и рассуждая через каждый шаг, чтобы учесть все возможные исходы. Затем она использует контекстные данные для определения наиболее эффективного курса действий. 

Nvidia утверждает, что AR1 использует цепочку рассуждений, которая позволяет ей обрабатывать данные на своем пути и использовать информацию для планирования траектории, например, остановки для пешеходов, переходящих дорогу в неположенном месте. Открытая основа модели базируется на Cosmos Reason технологической компании, что позволяет исследователям настраивать ее для своих некоммерческих случаев использования. 

Исследователи также могут настраивать модель AR1 для бенчмаркинга или разработки экспериментальных приложений для автономных транспортных средств, согласно чипмейкеру. Nvidia Drive Alpamayo-R1 будет доступна на Hugging Face и GitHub, в то время как часть данных, использованных для обучения и оценки моделей, доступна в Nvidia Physical AI Open Datasets. 

Обучение с подкреплением доказало свою эффективность для постобучения AR1 

Исследователи Nvidia заявили, что обучение с подкреплением оказалось эффективным для постобучения AR1. Они отметили, что разработчики также могут узнать, как использовать и проводить постобучение моделей на основе Cosmos, используя пошаговые рассуждения. Исследователи сказали, что примеры быстрого запуска вывода и продвинутого постобучения можно найти в Cosmos Cookbook. Всестороннее руководство для разработчиков физического ИИ охватывает пошаговый отбор данных, оценку моделей и генерацию синтетических данных.

Тем временем чипмейкер заявил, что возможности для приложений на основе Cosmos практически безграничны. Технологический гигант привел примеры приложений на основе Cosmos, включая LidarGen, Omniverse NuRec Fixer, Cosmos Policy и ProtoMotions3. 

Технологическая компания похвалилась, что LidarGen является первой в мире моделью для генерации данных лидара для симуляций автономных транспортных средств. Она также упомянула, что ее модель Omniverse NuRec Fixer для робототехники и симуляции AV использует Nvidia’s Cosmos Predict. 

ProtoMotions3 — это фреймворк с открытым исходным кодом, ускоренный GPU, построенный на Nvidia Newton и Isaac Lab. Согласно чипмейкеру, этот фреймворк можно использовать для обучения физически смоделированных человекоподобных роботов и цифровых людей. Фундаментальные модели мира Cosmos (WFMs) можно использовать для генерации реалистичных сцен.

Nvidia также упомянула, что модели политик могут быть обучены в Isaac SIM и Isaac Lab. Данные, сгенерированные из моделей политик, затем могут быть использованы для постобучения Groot N моделей чипмейкера для робототехники.