Nvidia introduce i Cosmos WFMs per avanzare nella robotica e nell'AI fisica

Nvidia ha svelato la piattaforma Cosmos, alimentata da modelli mondiali che gli sviluppatori di Physical AI utilizzeranno per addestrare agenti AI per l'analisi video, veicoli autonomi (AV) e robot. L'azienda afferma che i modelli mondiali Cosmos utilizzano un ragionamento strutturato su immagini e video per “comprendere il mondo fisico come gli esseri umani.”   

L'azienda tecnologica ha stava aiutando gli sviluppatori a costruire modelli fondamentali. Ha spiegato che la piattaforma Cosmos consentiva agli sviluppatori di personalizzare i modelli pre-addestrati out-of-the-box per modelli di AI fisica specializzati. Nvidia vanta che Cosmos utilizza una “comprensione spaziotemporale” del mondo fisico per curare i dati che addestrano il processo decisionale nella robotica e nelle auto a guida autonoma.

L'azienda ha anche aggiunto che il framework Cosmos Curator consentiva agli sviluppatori di filtrare, annotare e deduplicare enormi quantità di dati dei sensori. Gli sviluppatori utilizzano questi dati per creare set di dati su misura che soddisfano esigenze specifiche di AI fisica. I modelli fondamentali mondiali Cosmos possono anche generare dati per pipeline a valle nello sviluppo di sistemi di visione industriale.

Cosmos include i modelli fondamentali Predict, Transfer e Reason 

Secondo il team di Nvidia, la piattaforma Cosmos dispone del modello di previsione Predict, che consente agli sviluppatori di generare video continui fino a 30 secondi. I video sono generati da input multimodali con una stretta aderenza ai prompt.

Transfer è un modello multicontrollo che consente agli sviluppatori di simulare diversi ambienti e condizioni di illuminazione. L'azienda tecnologica ha anche dichiarato che Transfer può accelerare gli input 3D da CARLA e dai framework di simulazione AI fisica Nvidia Isaac Sim per abilitare un “aumento controllato dei dati.”   

Nvidia ha dichiarato che Cosmos Reason utilizzava un VLM (Vision Language Model) completamente personalizzabile che comprendeva il mondo fisico reale come gli esseri umani. Reason alimenta gli agenti di analisi video che comprendono le operazioni negli spazi industriali e urbani. Cura i dati di addestramento utilizzati per il processo decisionale.

L'azienda tecnologica ha rivelato che gli sviluppatori potevano sfruttare i modelli fondamentali per generare dati per l'addestramento di modelli AI in applicazioni industriali e robotiche, come robot di fabbrica, magazzini automatizzati e AV su autostrade o terreni accidentati.

Nvidia ha anche dichiarato che questi modelli fondamentali sono stati addestrati utilizzando dataset non etichettati per generare nuovi dati in base agli input degli utenti. Ha aggiunto che gli sviluppatori possono utilizzare questa generalizzabilità per perfezionare i modelli pre-addestrati utilizzando dataset più piccoli per costruire modelli personalizzati. Gli sviluppatori possono anche addestrare diverse macchine autonome a percepire e interagire con vari ambienti.

Nvidia alimenta i 'gemelli digitali'

L'azienda tecnologica . L'azienda crede che FRUT servirà come “espressione a biglietto unico” degli aspetti della piattaforma e dell'hardware dell'intelligenza artificiale. Questo significa semplicemente che gli investitori ottengono accesso all'infrastruttura AI con un prodotto, invece di mescolare diversi produttori di chip e nomi di piattaforme. il rilascio delle librerie Omniverse l'11 agosto. Nvidia ha aggiunto che le librerie erano alimentate dai suoi server RTX PRO e DGX Cloud, consentendo agli sviluppatori di costruire gemelli digitali fisicamente accurati. I dati sintetici possono essere generati catturando e ricostruendo il mondo reale nella simulazione per costruire agenti AI e addestrare modelli di AI fisica. 

Rev Lebaredian, vice presidente di Omniverse e Simulation Technologies presso Nvidia, ha dichiarato che la sua azienda era impegnata a consentire agli sviluppatori di costruire i robot e i veicoli autonomi di domani. Ha spiegato che l'AI e la computer graphics si stavano convergendo per trasformare i principi fondamentali della robotica. Lebaredian crede che queste tecnologie “trasformeranno migliaia di miliardi di dollari in settori.” 

Nvidia ha rivelato che le librerie e gli SDK (Software Development Kits) di Omniverse erano ora disponibili per gli sviluppatori per costruire e distribuire simulazioni robotiche e applicazioni di AI industriale. Gli SDK abilitano l'interoperabilità dei dati tra OpenUSD (Universal Scene Description) e MJCF (MuJoCo) per consentire la simulazione dei robot su piattaforme diverse. La tecnica 'RTX ray-traced 3D Gaussian splatting' consente anche agli sviluppatori di catturare, ricostruire e simulare ambienti fisici nel mondo reale in 3D utilizzando dati dei sensori. 

Nvidia ha affermato che Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon e Lightwheel hanno adottato Omniverse e la Isaac Suite (Sim e Lab) per accelerare i loro progetti di robotica guidati dall'AI. Amazon Devices & Services ha anche utilizzato questi sistemi Nvidia per alimentare le sue più recenti soluzioni di produzione.