Nvidia avanza nell'AI fisica e digitale con nuovi modelli e strumenti AI open

Nvidia ha presentato nuovi strumenti e lo sviluppo di modelli open per l'AI fisica e digitale, tra cui Nvidia Drive Alpamayo-R1 (AR1) per la guida autonoma. Il gigante della tecnologia ha annunciato alla conferenza AI NeurIPS che sta ulteriormente aumentando il suo cluster di modelli AI open, strumenti e dataset.

Nvidia ha dichiarato che i suoi nuovi modelli open di AI fisica e digitale mirano a supportare la ricerca nel settore dell'AI e oltre. Ha sottolineato che il suo Alpamayo-R1 è il primo modello VLA (vision language action) open di reasoning su scala industriale al mondo per le auto a guida autonoma. Il produttore di chip ha anche accennato al rilascio di nuovi dataset e modelli per la sicurezza dell'AI e il riconoscimento vocale. 

I ricercatori dell'azienda tecnologica hanno preparato oltre 70 articoli, workshop e presentazioni da esporre alla conferenza. L'azienda sta condividendo i suoi progetti innovativi che spaziano dalla ricerca medica, alla guida autonoma e al reasoning dell'AI. 

Nvidia mostra un impegno più forte verso l'open source

Il gigante della tecnologia ha dimostrato un impegno più sostanziale verso l'open source durante l'evento AI, uno sforzo riconosciuto dalla piattaforma di benchmarking AI Artificial Analysis con il suo nuovo Openness Index. L'Open Index di Artificial Analysis ha classificato la famiglia di strumenti AI Nemotron come una delle migliori disponibili. La valutazione si basa sulla quantità di informazioni tecniche condivise, sulla facilità d'uso delle licenze dei modelli e sulla chiarezza delle normative sull'uso dei dati. 

Nel frattempo, AR1 (Alpamayo-R1) integra il reasoning AI chain-of-thought con la pianificazione del percorso per abilitare l'autonomia di livello 4 e migliorare la sicurezza dei veicoli autonomi (AV) in vari scenari stradali. Il produttore di chip ha dichiarato che le iterazioni precedenti dei modelli di guida autonoma faticavano con situazioni come un incrocio con molti pedoni, un'auto parcheggiata in doppia fila in una corsia per biciclette o una chiusura stradale in avvicinamento. Tuttavia, il reasoning fornisce ai veicoli autonomi il senso comune per guidare come gli esseri umani.

Il modello AR1 raggiunge questo obiettivo scomponendo gli scenari e ragionando su ogni passo per considerare tutti i possibili esiti. Utilizza poi i dati contestuali per determinare il corso d'azione più efficace. 

Nvidia sostiene che AR1 attinga al reasoning chain-of-thought che gli consente di elaborare i dati lungo il suo percorso e utilizzare le informazioni per pianificare una traiettoria, come fermarsi per i pedoni che attraversano fuori dalle strisce. La base open del modello si basa sul Cosmos Reason dell'azienda tecnologica, che consente ai ricercatori di personalizzarlo per i loro casi d'uso non commerciali. 

I ricercatori possono anche personalizzare il modello AR1 per il benchmarking o lo sviluppo di applicazioni sperimentali per i veicoli autonomi, secondo il produttore di chip. Nvidia Drive Alpamayo-R1 sarà disponibile su Hugging Face e GitHub, mentre un sottoinsieme dei dati utilizzati per addestrare e valutare i modelli è disponibile su Nvidia Physical AI Open Datasets. 

L'apprendimento per rinforzo si dimostra efficace per il post-training di AR1 

I ricercatori di Nvidia hanno affermato che l'addestramento per rinforzo si è dimostrato efficace per il post-training di AR1. Hanno sottolineato che gli sviluppatori possono anche imparare come utilizzare e post-addestrare i modelli basati su Cosmos utilizzando il reasoning passo dopo passo. I ricercatori hanno dichiarato che esempi di inferenza quick-start e post-training avanzato possono essere trovati nel Cosmos Cookbook. La guida completa per gli sviluppatori di AI fisica copre la curazione dei dati passo dopo passo, la valutazione dei modelli e la generazione di dati sintetici.

Nel frattempo, il produttore di chip ha dichiarato che le possibilità per le applicazioni basate su Cosmos sono virtualmente illimitate. Il gigante della tecnologia ha fornito esempi di applicazioni basate su Cosmos, tra cui LidarGen, Omniverse NuRec Fixer, Cosmos Policy e ProtoMotions3. 

L'azienda tecnologica ha vantato che LidarGen è stato il primo modello al mondo a generare dati lidar per le simulazioni di veicoli autonomi. Ha anche menzionato che il suo modello Omniverse NuRec Fixer per la robotica e la simulazione AV attinge a Nvidia's Cosmos Predict. 

ProtoMotions3 è un framework open-source, accelerato da GPU, costruito su Nvidia Newton e Isaac Lab. Secondo il produttore di chip, il framework può essere utilizzato per addestrare robot umanoidi e esseri umani digitali simulati fisicamente. I modelli di fondazione del mondo Cosmos (WFMs) possono essere utilizzati per generare scene realistiche.

Nvidia ha anche menzionato che i modelli di policy possono essere addestrati in Isaac SIM e Isaac Lab. I dati generati dai modelli di policy possono poi essere utilizzati per post-addestrare i Groot N modelli di robotica del produttore di chip.