Nvidia fait progresser l'IA physique et numérique grâce à de nouveaux modèles et outils d'IA ouverts.

Nvidia a dévoilé de nouveaux outils et un modèle de développement ouvert pour l'IA physique et numérique, notamment Nvidia Drive Alpamayo-R1 (AR1) pour la conduite autonome. Le géant technologique a annoncé lors de la conférence NeurIPS sur l'IA qu'il renforçait son offre de modèles, d'outils et de jeux de données d'IA ouverts.

Nvidia a déclaré que ses nouveaux modèles d'IA ouverts, physiques et numériques, visent à soutenir la recherche dans le secteur de l'IA et au-delà. L'entreprise a mis en avant son modèle Alpamayo-R1, le tout premier modèle VLA (raisonnement, vision, langage, action) ouvert à l'échelle industrielle pour les véhicules autonomes. Le fabricant de puces a également laissé entendre qu'il publierait prochainement de nouveaux ensembles de données et modèles pour la sécurité et la reconnaissance vocale en IA. 

Les chercheurs de cette entreprise technologique ont préparé plus de 70 articles, ateliers et présentations qui seront présentés lors de la conférence. L'entreprise y partagera ses projets innovants couvrant la recherche médicale, la conduite autonome et le raisonnement par intelligence artificielle. 

Nvidia démontre un engagementtronfort envers l'open source

Le géant technologique a démontré un engagement plus marqué envers l'open source lors de cet événement dédié à l'IA, un effort salué par la plateforme d'évaluation comparative de l'IA, Artificial Analysis, grâce à son nouvel indice d'ouverture. Cet indice classe latron parmi les meilleures du marché. Ce classement repose sur la quantité d'informations techniques partagées, la facilité d'utilisation des licences de modèles et la clarté des réglementations relatives à l'utilisation des données. 

Parallèlement, AR1 (Alpamayo-R1) intègre un raisonnement IA par chaîne de pensée à la planification de trajectoire pour permettre une autonomie de niveau 4 et améliorer la sécurité des véhicules autonomes dans diverses situations routières. Le fabricant de puces a indiqué que les versions précédentes des modèles de conduite autonome rencontraient des difficultés face à des situations telles qu'un carrefour très fréquenté par les piétons, une voiture en double file sur une piste cyclable ou une route barrée à l'approche. En revanche, le raisonnement confère aux véhicules autonomes le bon sens nécessaire pour conduire comme des humains.

Le modèle AR1 y parvient en décomposant les scénarios et en raisonnant à chaque étape pour envisager tous les résultats possibles. Il utilise ensuite des données contextuelles pour déterminer la ligne de conduite la plus efficace. 

Nvidia affirme que l'AR1 exploite un raisonnement séquentiel lui permettant de traiter les données tout au long de son parcours et d'utiliser ces informations pour planifier une trajectoire, par exemple en s'arrêtant pour laisser passer les piétons imprudents. Ce modèle, basé sur la plateforme Cosmos Reason de la firme, est ouvert et permet aux chercheurs de le personnaliser pour leurs applications non commerciales. 

D'après le fabricant de puces, les chercheurs peuvent également personnaliser le modèle AR1 pour l'évaluation comparative ou le développement d'applications expérimentales pour les véhicules autonomes. Nvidia Drive Alpamayo-R1 sera disponible sur Hugging Face et GitHub, tandis qu'un sous-ensemble des données utilisées pour l'entraînement et l'évaluation des modèles est accessible sur Nvidia Physical AI Open Datasets. 

L'apprentissage par renforcement s'avère efficace pour le post-entraînement d'AR1. 

Les chercheurs de Nvidia ont affirmé que l'entraînement par renforcement s'était révélé efficace pour le post-entraînement d'AR1. Ils ont souligné que les développeurs peuvent également apprendre à utiliser et à post-entraîner des modèles basés sur Cosmos grâce à un raisonnement étape par étape. Les chercheurs ont indiqué que des exemples d'inférence rapide et de post-entraînement avancé sont disponibles dans le Cosmos Cookbook. Ce guide complet, destiné aux développeurs d'IA physique, couvre la curation des données étape par étape, l'évaluation des modèles et la génération de données synthétiques.

Par ailleurs, le fabricant de puces a indiqué que les possibilités d'applications basées CosmosCosmossont quasi illimitées. Le géant technologique a cité en exemple LidarGen, Omniverse NuRec Fixer, Cosmos Policy et ProtoMotions3. 

L'entreprise technologique s'est vantée que LidarGen était le premier modèle au monde à générer des données lidar pour les simulations de véhicules autonomes. Elle a également mentionné que son modèle Omniverse NuRec Fixer, destiné à la simulation de robotique et de véhicules autonomes, exploite la Cosmos Predict de Nvidia. 

ProtoMotions3 est un framework open source, accéléré par GPU, basé sur les processeurs Nvidia Newton et Isaac Lab. Selon le fabricant de la puce, ce framework permet d'entraîner des robots humanoïdes et des humains numériques simulés physiquement. Les modèles de base du monde Cosmos (WFM) permettent de générer des scènes réalistes.

Nvidia a également indiqué que les modèles de politiques peuvent être entraînés dans Isaac SIM et Isaac Lab. Les données générées par ces modèles peuvent ensuite servir à l'entraînement ultérieur des Groot N destinés à la robotique.