Nvidia stellt Cosmos WFMs vor, um Robotik und physische KI voranzutreiben

Nvidia stellte die Cosmos-Plattform vor, angetrieben von Weltmodellen, die Physical-AI-Entwickler nutzen werden, um KI-Agenten für Videoanalysen, AVs (Autonome Fahrzeuge) und Roboter zu trainieren. Das Unternehmen behauptet, dass Cosmos-Weltmodelle strukturiertes reasoning auf Bildern und Videos verwenden, um „die physische Welt wie Menschen zu verstehen.“   

Das Technologieunternehmen sagte Es half Entwicklern, fundamentale Modelle zu erstellen. Es erklärte, dass die Cosmos-Plattform es Entwicklern ermöglicht, vortrainierte Out-of-the-Box-Modelle für spezialisierte Physical-AI-Modelle anzupassen. Nvidia rühmt sich, dass Cosmos ein „raum-zeitliches Verständnis“ der physischen Welt nutzt, um Daten zu kuratieren, die die Entscheidungsfindung in der Robotik und bei selbstfahrenden Autos trainieren.

Das Unternehmen fügte hinzu, dass der Cosmos-Curator-Framework es Entwicklern ermöglicht, massive Mengen an Sensordaten zu filtern, zu annotieren und zu deduplizieren. Entwickler nutzen diese Daten, um maßgeschneiderte Datensätze zu erstellen, die spezifischen Physical-AI-Anforderungen entsprechen. Cosmos-Weltgrundmodelle können auch Daten für nachgelagerte Pipelines bei der Entwicklung industrieller Vision-Systeme generieren.

Cosmos kommt mit den Grundmodellen Predict, Transfer und Reason 

Nach Angaben des Nvidia-Teams verfügt die Cosmos-Plattform über das Predict-Vorhersagemodell, das es Entwicklern ermöglicht, kontinuierliche Videos von bis zu 30 Sekunden Länge zu generieren. Die Videos werden aus multimodalen Eingaben unter strikter Einhaltung von Prompts generiert.

Transfer ist ein Multikontrollmodell, das es Entwicklern ermöglicht, verschiedene Umgebungen und Lichtverhältnisse zu simulieren. Das Technologieunternehmen sagte auch, dass Transfer 3D-Eingaben aus den Physical-AI-Simulationsframeworks CARLA und Nvidia Isaac Sim beschleunigen kann, um „kontrollierbare Datenerweiterung“ zu ermöglichen.   

Nvidia erklärte, dass Cosmos Reason ein vollständig anpassbares VLM (Vision Language Model) verwendet, das die reale physische Welt wie Menschen versteht. Reason treibt Videoanalyse-Agenten an, die Abläufe in industriellen und städtischen Räumen verstehen. Es kuratiert die Trainingsdaten, die für die Entscheidungsfindung verwendet werden.

Das Technologieunternehmen gab bekannt, dass Entwickler die Grundmodelle nutzen können, um Daten für das Training von KI-Modellen in industriellen und robotischen Anwendungen zu generieren, wie z. B. Fabrikroboter, automatisierte Lagerhäuser und AVs auf Autobahnen oder unwegsamem Gelände.

Nvidia sagte auch, dass diese Grundmodelle mit unbeschrifteten Datensätzen trainiert wurden, um neue Daten basierend auf Benutzereingaben zu generieren. Es fügte hinzu, dass Entwickler diese Generalisierbarkeit nutzen können, um die vortrainierten Modelle mit kleineren Datensätzen zu feinabstimmen, um benutzerdefinierte Modelle zu erstellen. Die Entwickler können auch verschiedene autonome Maschinen trainieren, um verschiedene Umgebungen zu erfassen und mit ihnen zu interagieren.

Nvidia treibt „Digitale Zwillinge“ an

Das Technologieunternehmen ankündigte die Veröffentlichung der Omniverse-Bibliotheken am 11. August. Nvidia fügte hinzu, dass die Bibliotheken von seinen RTX PRO Servern und DGX Cloud angetrieben werden, was es Entwicklern ermöglicht, physikalisch genaue digitale Zwillinge zu erstellen. Synthetische Daten können generiert werden, indem die reale Welt in der Simulation erfasst und rekonstruiert wird, um KI-Agenten zu erstellen und Physical-AI-Modelle zu trainieren. 

Rev Lebaredian, Vizepräsident für Omniverse und Simulationstechnologien bei Nvidia, sagte, sein Unternehmen sei bestrebt, Entwicklern zu ermöglichen, Roboter und AVs von morgen zu bauen. Er erklärte, dass KI und Computergrafik zusammenfließen, um die grundlegenden Prinzipien der Robotik zu transformieren. Lebaredian ist der Ansicht, dass diese Technologien „Trillionen von Dollar in Industrien transformieren werden.“ 

Nvidia gab bekannt, dass die Omniverse-Bibliotheken und SDKs (Software Development Kits) nun für Entwickler verfügbar sind, um Robotersimulationen und industrielle KI-Anwendungen zu erstellen und bereitzustellen. Die SDKs ermöglichen Dateninteroperabilität zwischen OpenUSD (Universal Scene Description) und MJCF (MuJoCo), um Roboter plattformübergreifend zu simulieren. Die Technik „RTX-raytraced 3D Gaussian Splatting“ ermöglicht es Entwicklern auch, physische Umgebungen in der realen Welt in 3D mit Sensordaten zu erfassen, zu rekonstruieren und zu simulieren. 

Nvidia behauptete, dass Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon und Lightwheel Omniverse und die Isaac Suite (Sim und Lab) übernommen haben, um ihre KI-gesteuerten Robotikprojekte zu beschleunigen. Amazon Devices & Services nutzt diese Nvidia-Systeme auch, um seine neuesten Fertigungslösungen anzutreiben.