Nvidia совершенствует физический и цифровой ИИ с помощью новых открытых моделей и инструментов ИИ

Компания Nvidia представила новые инструменты и открытые модели разработки для физического и цифрового ИИ, включая Nvidia Drive Alpamayo-R1 (AR1) для автономного вождения. На конференции NeurIPS AI технологический гигант объявил о дальнейшем расширении своего кластера открытых моделей, инструментов и наборов данных ИИ.

Компания Nvidia заявила, что её новые открытые физические и цифровые модели искусственного интеллекта направлены на поддержку исследований в области искусственного интеллекта и за её пределами. Компания отметила, что её Alpamayo-R1 — это первая в мире масштабируемая в отрасли модель открытого языка рассуждений и визуализации (VLA) для беспилотных автомобилей. Производитель чипов также намекнул на выпуск новых наборов данных и моделей для безопасности и речи ИИ. 

Исследователи технологической компании подготовили более 70 докладов, семинаров и лекций для презентации на конференции. Компания поделится своими инновационными проектами, охватывающими медицинские исследования, автономное вождение и интеллектуальное мышление на основе искусственного интеллекта. 

Nvidia демонстрируетtronприверженность открытому исходному коду

технологический гигант продемонстрировал более существенную приверженность открытому исходному коду, что было отмечено платформой для сравнения показателей ИИ Artificial Analysis в ее новом индексе открытости. Индекс открытости Artificial Analysis оценил семейство инструментов ИИ Nemotron ​​как одно из лучших на рынке. Рейтинг основан на объеме предоставленной технической информации, простоте использования лицензий моделей и ясности правил использования данных. 

Между тем, AR1 (Alpamayo-R1) объединяет цепочку рассуждений ИИ с планированием пути, обеспечивая автономность 4-го уровня и повышая безопасность беспилотных автомобилей (AV) в различных дорожных ситуациях. Производитель чипов заявил, что предыдущие версии моделей автономного вождения испытывали трудности в таких ситуациях, как перекрёсток с большим количеством пешеходов, автомобиль, припаркованный на велосипедной дорожке в два ряда, или приближающееся перекрытие дороги. Однако рассуждения дают автономным автомобилям здравый смысл, позволяющий им управлять автомобилем подобно человеку.

Модель AR1 достигает этого, разбивая сценарии на части и анализируя каждый шаг для рассмотрения всех возможных результатов. Затем она использует контекстные данные для определения наиболее эффективного курса действий. 

Компания Nvidia утверждает, что AR1 использует алгоритм логического мышления, который позволяет ей обрабатывать данные на своем пути и использовать эту информацию для планирования траектории, например, для остановки перед пешеходами, переходящими дорогу в неположенном месте. Открытая платформа модели основана на Cosmos Reason, разработанной той же компанией, что позволяет исследователям настраивать ее для некоммерческих целей. 

По словам производителя чипов, исследователи также могут настроить модель AR1 для бенчмаркинга или разработки экспериментальных приложений для беспилотных автомобилей. Nvidia Drive Alpamayo-R1 будет доступен на Hugging Face и GitHub, а подмножество данных, используемых для обучения и оценки моделей, доступно в Nvidia Physical AI Open Datasets. 

Обучение с подкреплением оказалось эффективным для посттренинга AR1 

Исследователи Nvidia заявили, что обучение с подкреплением оказалось эффективным для постобработки модели AR1. Они отметили, что разработчики также могут научиться использовать и постобрабатывать модели на основе Cosmos , используя пошаговые инструкции. Исследователи заявили, что примеры быстрого старта вывода и продвинутой постобработки можно найти в Cosmos Cookbook. Это всеобъемлющее руководство для разработчиков физического ИИ охватывает пошаговую подготовку данных, оценку моделей и генерацию синтетических данных.

Между тем, производитель чипов заявил, что возможности приложений на базе Cosmosпрактически безграничны. Технологический гигант привел примеры приложений на базе Cosmos, включая LidarGen, Omniverse NuRec Fixer, Cosmos Policy и ProtoMotions3. 

Технологическая компания заявила, что LidarGen стала первой в мире моделью, генерирующей лидарные данные для моделирования автономных транспортных средств. Компания также отметила, что её модель Omniverse NuRec Fixer для моделирования робототехники и беспилотных автомобилей использует возможности Cosmos Predict от Nvidia. 

ProtoMotions3 — это фреймворк с открытым исходным кодом, использующий графическое ускорение и разработанный на базе Nvidia Newton и Isaac Lab. По заявлению производителя чипов, фреймворк может использоваться для обучения физически симулированных гуманоидных роботов и цифровых людей. Базовые модели мира Cosmos (WFM) могут использоваться для создания реалистичных сцен.

Компания Nvidia также упомянула, что модели стратегий можно обучать в Isaac SIM и Isaac Lab. Полученные данные затем можно использовать для постобучения Groot N для робототехники.