Nvidia stellt Cosmos WFMs vor, um Robotik und physikalische KI voranzubringen

Nvidia hat die Cosmos -Plattform vorgestellt, die auf Weltmodellen basiert, mit denen Entwickler physikalischer KI-Systeme Videoanalyse-KI-Agenten, autonome Fahrzeuge und Roboter trainieren können. Laut Nvidia nutzen Cosmos Weltmodelle strukturiertes Schließen auf Bildern und Videos, um „die physikalische Welt wie der Mensch zu verstehen“   

Das Technologieunternehmen erklärte, es unterstütze Entwickler beim Aufbau grundlegender Modelle. Die CosmosCosmosCosmos CosmosCosmosCosmosCosmos CosmosCosmos ein „räumlich-zeitliches Verständnis“ der physikalischen Welt nutze, um Daten für das Training von Entscheidungsprozessen in der Robotik und bei autonomen Fahrzeugen aufzubereiten.

Das Unternehmen ergänzte, dass das Cosmos Curator Framework es Entwicklern ermöglicht, riesige Mengen an Sensordaten zu filtern, zu annotieren und zu deduplizieren. Mithilfe dieser Daten erstellen Entwickler maßgeschneiderte Datensätze, die spezifische Anforderungen physikalischer KI erfüllen. Cosmos Weltgrundlagenmodelle können zudem Daten für nachgelagerte Verarbeitungsprozesse bei der Entwicklung industrieller Bildverarbeitungssysteme generieren.

Cosmos beinhaltet die Grundlagenmodelle Predict, Transfer und Reason 

Laut dem Nvidia-Team verfügt die Cosmos Plattform über das Vorhersagemodell Predict, mit dem Entwickler bis zu 30 Sekunden lange, zusammenhängende Videos generieren können. Die Videos werden aus multimodalen Eingaben unter strikter Einhaltung der vorgegebenen Anweisungen erstellt.

Transfer ist ein Multi-Control-Modell, mit dem Entwickler verschiedene Umgebungen und Lichtverhältnisse simulieren können. Das Technologieunternehmen gab außerdem an, dass Transfer 3D-Eingaben der physikalischen KI-Simulationsframeworks CARLA und Nvidia Isaac Sim beschleunigen und so eine „kontrollierbare Datenerweiterung“ ermöglichen kann   

Nvidia erklärte, dass Cosmos Reason ein vollständig anpassbares VLM (Vision Language Model) verwendet, das die reale physikalische Welt ähnlich wie Menschen versteht. Reason ist die Grundlage für Videoanalyse-Agenten, die Abläufe in Industrie- und Stadtgebieten analysieren. Es kuratiert die Trainingsdaten, die für die Entscheidungsfindung genutzt werden.

Das Technologieunternehmen gab bekannt, dass Entwickler die Basismodelle nutzen könnten, um Daten für das Training von KI-Modellen in industriellen Anwendungen und der Robotik zu generieren, beispielsweise für Fabrikroboter, automatisierte Lagerhallen und autonome Fahrzeuge auf Autobahnen oder unwegsamem Gelände.

Nvidia erklärte außerdem, dass diese grundlegenden Modelle mit unbeschrifteten Datensätzen trainiert wurden, um basierend auf Benutzereingaben neue Daten zu generieren. Entwickler könnten diese Generalisierbarkeit nutzen, um die vortrainierten Modelle mit kleineren Datensätzen zu verfeinern und so eigene Modelle zu erstellen. Darüber hinaus könnten sie verschiedene autonome Maschinen trainieren, um ihre Umgebung wahrzunehmen und mit ihr zu interagieren.

Nvidia ermöglicht „digitale Zwillinge“

Das Technologieunternehmen kündigte am 11. August die Veröffentlichung der Omniverse-Bibliotheken an. Nvidia ergänzte, dass die Bibliotheken auf den RTX PRO Servern und der DGX Cloud basieren und Entwicklern die Erstellung physikalisch präziser digitaler Zwillinge ermöglichen. Synthetische Daten können generiert werden, indem die reale Welt in Simulationen erfasst und rekonstruiert wird, um KI-Agenten zu erstellen und physikalische KI-Modelle zu trainieren. 

Rev. Lebaredian,dent für Omniverse und Simulationstechnologien bei Nvidia, erklärte, sein Unternehmen setze sich dafür ein, Entwicklern die Möglichkeit zu geben, die Roboter und autonomen Fahrzeuge von morgen zu bauen. Er erläuterte, dass KI und Computergrafik zusammenwachsen und die Grundprinzipien der Robotik grundlegend verändern würden. Lebaredian ist überzeugt, dass diese Technologien „Industrien im Wert von Billionen von Dollar transformieren werden“ 

Nvidia gab bekannt, dass die Omniverse-Bibliotheken und SDKs (Software Development Kits) ab sofort für Entwickler verfügbar sind, um Robotersimulationen und industrielle KI-Anwendungen zu erstellen und einzusetzen. Die SDKs ermöglichen die Dateninteroperabilität zwischen OpenUSD (Universal Scene Description) und MJCF (MuJoCo), sodass Roboter plattformübergreifend simuliert werden können. Die „RTX RaytracingtracGaussian Splatting“-Technik erlaubt es Entwicklern außerdem, mithilfe von Sensordaten physikalische Umgebungen in der realen Welt in 3D zu erfassen, zu rekonstruieren und zu simulieren. 

Nvidia gab an, dass Figure AI, Skild AI, Boston Dynamics, das RAI Institute, Hexagon und Lightwheel Omniverse und die Isaac Suite (Sim und Lab) zur Beschleunigung ihrer KI-gestützten Robotikprojekte einsetzen. Auch Amazon Devices & Services nutzt diese Nvidia-Systeme für seine neuesten Fertigungslösungen.