Nvidia fait progresser l'IA physique et numérique avec de nouveaux modèles et outils IA open source

Nvidia a dévoilé de nouveaux outils et le développement de modèles ouverts pour l'IA physique et numérique, y compris Nvidia Drive Alpamayo-R1 (AR1) pour la conduite autonome. Le géant de la technologie a annoncé lors de la conférence IA NeurIPS qu'il augmentait davantage son cluster de modèles d'IA ouverts, d'outils et de jeux de données.

Nvidia a déclaré que ses nouveaux modèles d'IA physique et numérique ouverts visent à soutenir la recherche dans l'industrie de l'IA et au-delà. Il a vanté que son Alpamayo-R1 est le premier modèle de raisonnement visuel, linguistique et d'action (VLA) ouvert à l'échelle de l'industrie au monde pour les voitures autonomes. Le fabricant de puces a également laissé entendre la sortie de nouveaux jeux de données et modèles pour la sécurité de l'IA et la parole. 

Les chercheurs de l'entreprise ont préparé plus de 70 articles, ateliers et conférences pour présentation lors de la conférence. L'entreprise partage ses projets innovants qui couvrent la recherche médicale, la conduite autonome et le raisonnement de l'IA. 

Nvidia montre un engagement plus fort envers l'open source

Le géant de la technologie a démontré un engagement plus substantiel envers l'open source lors de l'événement IA, un effort reconnu par la plateforme de benchmarking IA Artificial Analysis avec son nouvel Openness Index. L'Open Index d'Artificial Analysis a classé la famille d'outils IA Nemotron de l'entreprise comme l'une des meilleures disponibles. La notation est basée sur la quantité d'informations techniques partagées, la facilité d'utilisation des licences de modèle et la clarté des réglementations d'utilisation des données. 

Pendant ce temps, AR1 (Alpamayo-R1) intègre le raisonnement IA de type « chain-of-thought » avec la planification de trajectoire pour permettre l'autonomie de niveau 4 et améliorer la sécurité des VA (véhicules autonomes) dans divers scénarios routiers. Le fabricant de puces a déclaré que les itérations précédentes des modèles de conduite autonome avaient du mal avec des situations telles qu'une intersection très fréquentée par les piétons, une voiture doublement garée dans une voie cyclable ou une fermeture de route imminente. Cependant, le raisonnement donne aux véhicules autonomes le bon sens de conduire comme des humains.

Le modèle AR1 y parvient en décomposant les scénarios et en raisonnant étape par étape pour considérer tous les résultats possibles. Il utilise ensuite des données contextuelles pour déterminer le cours d'action le plus efficace. 

Nvidia affirme que l'AR1 s'appuie sur le raisonnement de type « chain-of-thought » qui lui permet de traiter les données le long de son chemin et d'utiliser les informations pour planifier une trajectoire, comme s'arrêter pour les piétons qui traversent en dehors des passages. Le fondement ouvert du modèle est basé sur le Cosmos Reason de l'entreprise technologique, qui permet aux chercheurs de le personnaliser pour leurs cas d'utilisation non commerciaux. 

Les chercheurs peuvent également personnaliser le modèle AR1 pour le benchmarking ou le développement d'applications expérimentales pour les VA, selon le fabricant de puces. Nvidia Drive Alpamayo-R1 sera disponible sur Hugging Face et GitHub, tandis qu'un sous-ensemble des données utilisées pour former et évaluer les modèles est disponible sur Nvidia Physical AI Open Datasets. 

L'apprentissage par renforcement s'avère efficace pour le post-entraînement de AR1 

Les chercheurs de Nvidia ont affirmé que l'entraînement par renforcement s'était avéré efficace pour le post-entraînement de AR1. Ils ont souligné que les développeurs peuvent également apprendre comment utiliser et post-entraîner des modèles basés sur Cosmos en utilisant un raisonnement étape par étape. Les chercheurs ont déclaré que des exemples d'inférence de démarrage rapide et de post-entraînement avancé peuvent être trouvés dans le Cosmos Cookbook. Le guide complet pour les développeurs d'IA physique couvre la curation des données étape par étape, l'évaluation des modèles et la génération de données synthétiques.

Pendant ce temps, le fabricant de puces a déclaré que les possibilités pour les applications basées sur Cosmos sont pratiquement illimitées. Le géant de la technologie a fourni des exemples d'applications basées sur Cosmos, y compris LidarGen, Omniverse NuRec Fixer, Cosmos Policy et ProtoMotions3. 

L'entreprise a vanté que LidarGen était le premier modèle au monde à générer des données lidar pour les simulations de véhicules autonomes. Elle a également mentionné que son modèle Omniverse NuRec Fixer pour la robotique et la simulation de VA s'appuie sur le Cosmos Predict de Nvidia. 

ProtoMotions3 est un framework open-source, accéléré par GPU, construit sur Nvidia Newton et Isaac Lab. Le framework peut être utilisé pour entraîner des robots humanoïdes et des humains numériques simulés physiquement, selon le fabricant de puces. Les modèles de fondation du monde Cosmos (WFMs) peuvent être utilisés pour générer des scènes réalistes.

Nvidia a également mentionné que les modèles de politique peuvent être entraînés dans Isaac SIM et Isaac Lab. Les données générées à partir des modèles de politique peuvent ensuite être utilisées pour post-entraîner le Groot N de Nvidia pour la robotique.