Nvidia presenta Cosmos WFM per far progredire la robotica e l'intelligenza artificiale fisica

Nvidia ha presentato la piattaforma Cosmos , basata su modelli di mondo che gli sviluppatori di intelligenza artificiale fisica utilizzeranno per addestrare agenti di intelligenza artificiale per l'analisi video, veicoli autonomi (AV) e robot. L'azienda afferma che i modelli di mondo Cosmos utilizzano ragionamenti strutturati su immagini e video per "comprendere il mondo fisico come gli esseri umani"   

L'azienda tecnologica ha dichiarato di aiutare gli sviluppatori a costruire modelli fondamentali. Ha spiegato che la CosmosCosmosCosmos CosmosCosmosCosmosCosmos CosmosCosmos utilizzi una "comprensione spazio-temporale" del mondo fisico per organizzare i dati che addestrano i processi decisionali nella robotica e nelle auto a guida autonoma.

L'azienda ha inoltre aggiunto che il framework Cosmos Curator ha consentito agli sviluppatori di filtrare, annotare e deduplicare enormi quantità di dati provenienti dai sensori. Gli sviluppatori utilizzano questi dati per creare set di dati personalizzati che soddisfano specifiche esigenze di intelligenza artificiale fisica. I modelli di Cosmos World Foundation possono anche generare dati per le pipeline a valle nello sviluppo di sistemi di visione industriale.

Cosmos è dotato di modelli di base Predict, Transfer e Reason 

Secondo il team Nvidia, la piattaforma Cosmos integra il modello di previsione Predict, che consente agli sviluppatori di generare video continui fino a 30 secondi. I video vengono generati da input multimodali con rigorosa aderenza ai prompt.

Transfer è un modello multicontrollo che consente agli sviluppatori di simulare diversi ambienti e condizioni di illuminazione. L'azienda tecnologica ha inoltre affermato che Transfer può accelerare gli input 3D provenienti dai framework di simulazione fisica di intelligenza artificiale CARLA e Nvidia Isaac Sim per consentire un "aumento dei dati controllabile"   

Nvidia ha dichiarato che Cosmos Reason utilizza un VLM (Vision Language Model) completamente personalizzabile, in grado di comprendere il mondo fisico reale come gli esseri umani. Reason supporta agenti di analisi video che comprendono le operazioni in spazi industriali e urbani. Gestisce i dati di training utilizzati per il processo decisionale.

L'azienda tecnologica ha rivelato che gli sviluppatori potrebbero sfruttare i modelli di base per generare dati per addestrare modelli di intelligenza artificiale in applicazioni industriali e robotiche, come robot di fabbrica, magazzini automatizzati e veicoli autonomi su autostrade o terreni accidentati.

Nvidia ha inoltre affermato che questi modelli fondamentali sono stati addestrati utilizzando set di dati non etichettati per generare nuovi dati basati sugli input degli utenti. Ha aggiunto che gli sviluppatori possono utilizzare questa generalizzabilità per perfezionare i modelli pre-addestrati utilizzando set di dati più piccoli per creare modelli personalizzati. Gli sviluppatori possono anche addestrare diverse macchine autonome a percepire e interagire con diversi ambienti.

Nvidia alimenta i "gemelli digitali"

L'azienda tecnologica ha annunciato il rilascio delle librerie Omniverse l'11 agosto. Nvidia ha aggiunto che le librerie sono basate sui suoi server RTX PRO e DGX Cloud, consentendo agli sviluppatori di creare gemelli digitali fisicamente accurati. I dati sintetici possono essere generati catturando e ricostruendo il mondo reale in simulazione per costruire agenti di intelligenza artificiale e addestrare modelli di intelligenza artificiale fisica. 

Il Rev. Lebaredian,dent di Omniverse and Simulation Technologies presso Nvidia, ha affermato che la sua azienda è impegnata a consentire agli sviluppatori di costruire i robot e i veicoli autonomi di domani. Ha spiegato che l'intelligenza artificiale e la computer grafica stanno convergendo per trasformare i principi di base della robotica. Lebaredian ritiene che queste tecnologie "trasformeranno migliaia di miliardi di dollari in settori industriali" 

Nvidia ha annunciato la disponibilità delle librerie e degli SDK (Software Development Kit) Omniverse per consentire agli sviluppatori di creare e implementare applicazioni di simulazione robotica e intelligenza artificiale industriale. Gli SDK permettono l'interoperabilità dei dati tra OpenUSD (Universal Scene Description) e MJCF (MuJoCo), consentendo la simulazione di robot su diverse piattaforme. La tecnica "RTX ray-trac3D Gaussian splatting" permette inoltre agli sviluppatori di acquisire, ricostruire e simulare ambienti fisici reali in 3D utilizzando i dati dei sensori. 

Nvidia ha affermato che Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon e Lightwheel hanno adottato Omniverse e Isaac Suite (Sim e Lab) per accelerare i loro progetti di robotica basati sull'intelligenza artificiale. Anche Amazon Devices & Services ha utilizzato questi sistemi Nvidia per alimentare le sue più recenti soluzioni di produzione.