Nvidia macht Fortschritte bei physischer und digitaler KI mit neuen offenen KI-Modellen und Tools

Nvidia hat neue Tools und offene Modellentwicklungen für physische und digitale KI vorgestellt, darunter Nvidia Drive Alpamayo-R1 (AR1) für autonomes Fahren. Der Tech-Riese kündigte auf der NeurIPS-KI-Konferenz an, seinen Cluster aus offenen KI-Modellen, Tools und Datensätzen weiter zu erhöhen.

Nvidia sagte, seine neuen offenen physischen und digitalen KI-Modelle sollen die Forschung in der KI-Branche und darüber hinaus unterstützen. Es rühmte sich, dass Alpamayo-R1 das weltweit erste branchenweite offene Reasoning-Vision-Language-Action-(VLA)-Modell für selbstfahrende Autos ist. Der Chip-Hersteller deutete auch die Veröffentlichung neuer Datensätze und Modelle für KI-Sicherheit und Sprache an. 

Die Forscher des Tech-Unternehmens haben über 70 Papers, Workshops und Vorträge für die Präsentation auf der Konferenz vorbereitet. Das Unternehmen teilt seine innovativen Projekte, die sich auf medizinische Forschung, autonomes Fahren und KI-Reasoning erstrecken. 

Nvidia zeigt stärkeres Engagement für Open Source

Der Tech-Riese demonstrierte ein substanzielleres Engagement für Open Source auf der KI-Veranstaltung, eine Bemühung, die von der KI-Benchmarking-Plattform Artificial Analysis mit ihrem neuen Openness Index anerkannt wurde. Der Artificial Analysis Open Index bewertete die Nemotron-Familie von KI-Tools des Unternehmens als eine der besten verfügbaren. Die Bewertung basiert auf der Menge der geteilten technischen Informationen, der Einfachheit der Nutzung von Modelllizenzen und der Klarheit der Datenverwendungsbestimmungen. 

In der Zwischenzeit integriert AR1 (Alpamayo-R1) Chain-of-Thought-KI-Reasoning mit der Pfadplanung, um Autonomie der Stufe 4 zu ermöglichen und die Sicherheit von AVs (autonome Fahrzeuge) in verschiedenen Straßenszenarien zu verbessern. Der Chip-Hersteller sagte, frühere Iterationen autonomer Fahrmodelle hätten Schwierigkeiten mit Situationen wie einer fußgängerreichen Kreuzung, einem doppelt geparkten Auto in einem Fahrradstreifen oder einer herannahenden Straßensperrung gehabt. Reasoning gibt autonomen Fahrzeugen jedoch das gesunde Menschenverstand, um wie Menschen zu fahren.

Das AR1-Modell erreicht dies, indem es Szenarien herunterbricht und jeden Schritt durchdenkt, um alle möglichen Ergebnisse zu berücksichtigen. Es verwendet dann kontextuelle Daten, um den effektivsten Handlungsweg zu bestimmen. 

Nvidia behauptet, dass AR1 auf das Chain-of-Thought-Reasoning zurückgreift, das es ermöglicht, Daten entlang seines Pfades zu verarbeiten und die Informationen zur Planung einer Trajektorie zu nutzen, wie zum Beispiel das Anhalten für Wilderer. Die offene Grundlage des Modells basiert auf dem Cosmos Reason des Tech-Unternehmens, das es Forschern ermöglicht, es für ihre nicht-kommerziellen Anwendungsfälle anzupassen. 

Forscher können das AR1-Modell auch für Benchmarking oder die Entwicklung experimenteller Anwendungen für AVs anpassen, so der Chip-Hersteller. Nvidia Drive Alpamayo-R1 wird auf Hugging Face und GitHub, während eine Teilmenge der zur Schulung und Bewertung von Modellen verwendeten Daten auf Nvidia Physical AI Open Datasets verfügbar ist. 

Reinforcement Learning erweist sich als effektiv für die Post-Training von AR1 

Nvidia-Forscher behaupteten, dass das Reinforcement-Training für das Post-Training von AR1 als effektiv erwiesen habe. Sie wiesen darauf hin, dass Entwickler auch lernen können, wie man Modelle basierend auf Cosmos mit schrittweisem Reasoning verwendet und nachtrainiert. Die Forscher sagten, Beispiele für schnelle Inferenz und erweitertes Post-Training seien im Cosmos Cookbookzu finden. Der umfassende Leitfaden für physische KI-Entwickler behandelt die schrittweise Datenkuratierung, die Modellbewertung und die Generierung synthetischer Daten.

In der Zwischenzeit sagte der Chip-Hersteller, die Möglichkeiten für Cosmos-basierte Anwendungen seien praktisch grenzenlos. Der Tech-Riese gab Beispiele für Cosmos-basierte Anwendungen, darunter LidarGen, Omniverse NuRec Fixer, Cosmos Policy und ProtoMotions3. 

Das Tech-Unternehmen rühmte sich, dass LidarGen das weltweit erste Modell zur Generierung von Lidar-Daten für autonome Fahrzeugsimulationen war. Es erwähnte auch, dass sein Omniverse NuRec Fixer-Modell für Robotik- und AV-Simulationen auf Nvidias Cosmos Predict zurückgreift. 

ProtoMotions3 ist ein Open-Source-, GPU-beschleunigtes Framework, das auf Nvidia Newton und Isaac Lab aufgebaut ist. Das Framework kann zur Schulung physikalisch simulierter humanoider Roboter und digitaler Menschen verwendet werden, so der Chip-Hersteller. Die Cosmos-Welt-Grundlagenmodelle (WFMs) können verwendet werden, um realistische Szenen zu generieren.

Nvidia erwähnte auch, dass Policy-Modelle in Isaac SIM und Isaac Lab trainiert werden können. Die aus den Policy-Modellen generierten Daten können dann verwendet werden, um die Post-Training der Groot N Modelle des Chip-Herstellers für Robotik durchzuführen.