Nvidia présente Cosmos WFMs pour faire progresser la robotique et l'IA physique

Nvidia a dévoilé la plateforme Cosmos , basée sur des modèles du monde que les développeurs d'IA physique utiliseront pour entraîner des agents d'IA d'analyse vidéo, des véhicules autonomes et des robots. L'entreprise affirme que les modèles du monde Cosmos utilisent un raisonnement structuré sur les images et les vidéos pour « comprendre le monde physique comme les humains »   

L'entreprise technologique a déclaré aider les développeurs à créer des modèles fondamentaux. Elle a expliqué que la Cosmos permettait aux développeurs de personnaliser des modèles pré-entraînés prêts à l'emploi pour des modèles d'IA physique spécialisés. Nvidia affirme que Cosmos utilise une « compréhension spatio-temporelle » du monde physique pour organiser les données qui entraînent la prise de décision dans la robotique et les véhicules autonomes.

L'entreprise a également précisé que le framework Cosmos Curator permet aux développeurs de filtrer, d'annoter et de dédupliquer d'énormes quantités de données de capteurs. Ces développeurs utilisent ces données pour créer des ensembles de données personnalisés répondant aux besoins spécifiques de l'IA physique. Les modèles de base de Cosmos World peuvent également générer des données pour les pipelines en aval lors du développement de systèmes de vision industrielle.

Cosmos est fourni avec les modèles de base Predict, Transfer et Reason 

Selon l'équipe Nvidia, la plateforme Cosmos intègre le modèle de prédiction Predict, permettant aux développeurs de générer des vidéos continues d'une durée maximale de 30 secondes. Ces vidéos sont générées à partir d'entrées multimodales en respectant scrupuleusement les consignes.

Transfer est un modèle multicontrôle qui permet aux développeurs de simuler différents environnements et conditions d'éclairage. L'entreprise technologique a également indiqué que Transfer peut accélérer les entrées 3D provenant des frameworks de simulation physique d'IA CARLA et Nvidia Isaac Sim afin de permettre une « augmentation de données contrôlable »   

Nvidia a déclaré que Cosmos Reason utilisait un modèle de langage visuel (VLM) entièrement personnalisable, capable de comprendre le monde physique réel comme le ferait un être humain. Reason alimente des agents d'analyse vidéo qui comprennent les opérations dans les espaces industriels et urbains. Il gère les données d'entraînement utilisées pour la prise de décision.

L'entreprise technologique a révélé que les développeurs pourraient exploiter les modèles de base pour générer des données destinées à l'entraînement de modèles d'IA dans des applications industrielles et robotiques, telles que les robots d'usine, les entrepôts automatisés et les véhicules autonomes sur les autoroutes ou les terrains accidentés.

Nvidia a également indiqué que ces modèles de base ont été entraînés à l'aide d'ensembles de données non étiquetés afin de générer de nouvelles données à partir des entrées utilisateur. L'entreprise a ajouté que les développeurs peuvent exploiter cette capacité de généralisation pour affiner les modèles pré-entraînés à l'aide d'ensembles de données plus petits et ainsi créer des modèles personnalisés. Ils peuvent également entraîner différentes machines autonomes à percevoir leur environnement et à interagir avec lui.

Nvidia alimente les « jumeaux numériques »

L'entreprise technologique a annoncé la sortie des bibliothèques Omniverse le 11 août. Nvidia a précisé que ces bibliothèques, optimisées par ses serveurs RTX PRO et son cloud DGX, permettent aux développeurs de créer des jumeaux numériques physiquement précis. Des données synthétiques peuvent être générées en capturant et en reconstruisant le monde réel par simulation afin de créer des agents d'IA et d'entraîner des modèles d'IA physiques. 

Le révérend Lebaredian, vice-dent d'Omniverse et des technologies de simulation chez Nvidia, a déclaré que son entreprise s'engageait à permettre aux développeurs de concevoir les robots et les véhicules autonomes de demain. Il a expliqué que l'intelligence artificielle et l'infographie convergeaient pour transformer les principes fondamentaux de la robotique. M. Lebaredian estime que ces technologies auront un impact considérable sur l'industrie, représentant des milliards de dollars 

Nvidia a annoncé que les bibliothèques Omniverse et les kits de développement logiciel (SDK) sont désormais disponibles pour permettre aux développeurs de créer et de déployer des applications de simulation robotique et d'intelligence artificielle industrielle. Les SDK assurent l'interopérabilité des données entre OpenUSD (Universal Scene Description) et MJCF (MuJoCo), permettant ainsi la simulation de robots sur différentes plateformes. La technique de « ray-trac3D Gaussian splatting » de RTX permet également aux développeurs de capturer, de reconstruire et de simuler des environnements physiques réels en 3D à partir de données de capteurs. 

Nvidia a affirmé que Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon et Lightwheel ont adopté Omniverse et la suite Isaac (simulation et laboratoire) pour accélérer leurs projets de robotique pilotée par l'IA. Amazon Devices & Services a également utilisé ces systèmes Nvidia pour ses solutions de fabrication les plus récentes.