Nvidia introduit les WFMs Cosmos pour faire avancer la robotique et l'IA physique

Nvidia a dévoilé la plateforme Cosmos, alimentée par des modèles mondiaux que les développeurs d'IA physique utiliseront pour entraîner des agents d'IA d'analyse vidéo, des véhicules autonomes (AV) et des robots. L'entreprise affirme que les modèles mondiaux Cosmos utilisent un raisonnement structuré sur les images et les vidéos pour « comprendre le monde physique comme les humains. »   

La société technologique a déclaré elle aidait les développeurs à construire des modèles fondamentaux. Elle a expliqué que la plateforme Cosmos permettait aux développeurs de personnaliser des modèles pré-entraînés prêts à l'emploi pour des modèles d'IA physique spécialisés. Nvidia se vante que Cosmos utilise une « compréhension spatio-temporelle » du monde physique pour curatoriser des données qui entraînent la prise de décision en robotique et dans les voitures autonomes.

L'entreprise a également ajouté que le framework Cosmos Curator permettait aux développeurs de filtrer, annoter et dédupliquer d'énormes quantités de données de capteurs. Les développeurs utilisent ces données pour créer des ensembles de données sur mesure répondant à des besoins spécifiques en IA physique. Les modèles fondamentaux mondiaux Cosmos peuvent également générer des données pour les pipelines en aval dans le développement de systèmes de vision industrielle.

Cosmos est livré avec des modèles fondamentaux Predict, Transfer et Reason 

Selon l'équipe Nvidia, la plateforme Cosmos dispose du modèle de prédiction Predict, permettant aux développeurs de générer des vidéos continues de jusqu'à 30 secondes. Les vidéos sont générées à partir d'entrées multimodales avec une stricte adhérence aux invites.

Transfer est un modèle de multicontrol qui permet aux développeurs de simuler différents environnements et conditions d'éclairage. La société technologique a également déclaré que Transfer pouvait accélérer les entrées 3D des frameworks de simulation d'IA physique CARLA et Nvidia Isaac Sim pour permettre une « augmentation de données contrôlable. »   

Nvidia a déclaré que Cosmos Reason utilisait un VLM (Vision Language Model) entièrement personnalisable qui comprenait le monde physique réel comme les humains. Reason alimente les agents d'analyse vidéo qui comprennent les opérations dans les espaces industriels et urbains. Il curatorise les données d'entraînement utilisées pour la prise de décision.

La société technologique a divulgué que les développeurs pourraient exploiter les modèles fondamentaux pour générer des données pour entraîner des modèles d'IA dans des applications industrielles et robotiques, telles que des robots d'usine, des entrepôts automatisés et des véhicules autonomes sur les autoroutes ou les terrains accidentés.

Nvidia a également déclaré que ces modèles fondamentaux ont été entraînés à l'aide de jeux de données non étiquetés pour générer de nouvelles données basées sur les entrées des utilisateurs. Elle a ajouté que les développeurs peuvent utiliser cette généralisabilité pour affiner les modèles pré-entraînés à l'aide de jeux de données plus petits afin de construire des modèles personnalisés. Les développeurs peuvent également entraîner différentes machines autonomes à détecter et interagir avec divers environnements.

Nvidia alimente les « jumeaux numériques »

La société technologique a annoncé la sortie des bibliothèques Omniverse le 11 août. Nvidia a ajouté que les bibliothèques étaient alimentées par ses serveurs RTX PRO et DGX Cloud, permettant aux développeurs de construire des jumeaux numériques physiquement précis. Des données synthétiques peuvent être générées en capturant et en reconstituant le monde réel en simulation pour construire des agents d'IA et entraîner des modèles d'IA physique. 

Rev Lebaredian, vice-président des technologies Omniverse et Simulation chez Nvidia, a déclaré que son entreprise s’engageait à permettre aux développeurs de construire les robots et les véhicules autonomes (AV) de demain. Il a expliqué que l’intelligence artificielle et l’infographie convergeaient pour transformer les principes fondamentaux de la robotique. Lebaredian estime que ces technologies « transformeront des milliers de milliards de dollars d’industries ». 

Nvidia a révélé que les bibliothèques et les SDK (kits de développement logiciel) Omniverse étaient désormais disponibles pour les développeurs afin de créer et déployer des applications de simulation robotique et d’IA industrielle. Les SDK permettent l’interopérabilité des données entre OpenUSD (Universal Scene Description) et MJCF (MuJoCo), permettant ainsi de simuler des robots sur différentes plateformes. La technique de « splatting gaussien 3D tracé par rayons RTX » permet également aux développeurs de capturer, reconstruire et simuler des environnements physiques du monde réel en 3D à l’aide de données de capteurs. 

Nvidia a affirmé que Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon et Lightwheel ont adopté Omniverse et la suite Isaac (Sim et Lab) pour accélérer leurs projets de robotique alimentés par l’IA. Amazon Devices & Services utilise également ces systèmes Nvidia pour alimenter ses dernières solutions de fabrication.