Nvidia fa progredire l'intelligenza artificiale fisica e digitale con nuovi modelli e strumenti di intelligenza artificiale aperti

Nvidia ha presentato nuovi strumenti e modelli di sviluppo aperti per l'intelligenza artificiale fisica e digitale, tra cui Nvidia Drive Alpamayo-R1 (AR1) per la guida autonoma. Il colosso della tecnologia ha annunciato alla conferenza NeurIPS AI di voler ampliare ulteriormente il suo cluster di modelli, strumenti e set di dati di intelligenza artificiale aperti.

Nvidia ha affermato che i suoi nuovi modelli di intelligenza artificiale aperti, fisici e digitali, mirano a supportare la ricerca nel settore dell'intelligenza artificiale e non solo. Ha pubblicizzato il suo Alpamayo-R1 come il primo modello VLA (Vision Language Action) aperto al mondo su scala industriale per le auto a guida autonoma. Il produttore di chip ha anche accennato al rilascio di nuovi set di dati e modelli per la sicurezza e la comprensione vocale dell'intelligenza artificiale. 

I ricercatori dell'azienda tecnologica hanno preparato oltre 70 articoli, workshop e interventi da presentare alla conferenza. L'azienda condividerà i suoi progetti innovativi che spaziano dalla ricerca medica alla guida autonoma e al ragionamento basato sull'intelligenza artificiale. 

Nvidia dimostra un impegnotronforte verso l'open source

Il colosso tecnologico ha dimostrato un impegno più concreto verso l'open source durante l'evento sull'IA, uno sforzo riconosciuto dalla piattaforma di benchmarking sull'IA Artificial Analysis con il suo nuovo Openness Index. L'Open Index di Artificial Analysis ha classificato la famiglia di strumenti di IA Nemotron dell'aziendatron una delle migliori disponibili. La valutazione si basa sulla quantità di informazioni tecniche condivise, sulla facilità d'uso delle licenze dei modelli e sulla chiarezza delle normative sull'utilizzo dei dati. 

Nel frattempo, AR1 (Alpamayo-R1) integra il ragionamento IA basato sulla catena di pensiero con la pianificazione del percorso per abilitare l'autonomia di livello 4 e migliorare la sicurezza dei veicoli autonomi (AV) in vari scenari stradali. Il produttore di chip ha affermato che le precedenti iterazioni dei modelli di guida autonoma hanno avuto difficoltà in situazioni come un incrocio con molti pedoni, un'auto parcheggiata in doppia fila su una pista ciclabile o una chiusura stradale in avvicinamento. Tuttavia, il ragionamento fornisce ai veicoli autonomi il buon senso per guidare come gli esseri umani.

Il modello AR1 raggiunge questo obiettivo scomponendo gli scenari e ragionando su ogni fase per considerare tutti i possibili risultati. Utilizza quindi i dati contestuali per determinare la linea d'azione più efficace. 

Nvidia afferma che l'AR1 sfrutta il ragionamento a catena che gli consente di elaborare i dati lungo il suo percorso e di utilizzare le informazioni per pianificare una traiettoria, come ad esempio fermarsi in presenza di pedoni che attraversano fuori dalle strisce pedonali. La base aperta del modello è basata su Cosmos Reason, il software proprietario dell'azienda, che permette ai ricercatori di personalizzarlo per i propri casi d'uso non commerciali. 

Secondo il produttore di chip, i ricercatori possono anche personalizzare il modello AR1 per il benchmarking o lo sviluppo di applicazioni sperimentali per veicoli autonomi. Nvidia Drive Alpamayo-R1 sarà disponibile su Hugging Face e GitHub, mentre un sottoinsieme dei dati utilizzati per addestrare e valutare i modelli è disponibile su Nvidia Physical AI Open Datasets. 

L'apprendimento per rinforzo si dimostra efficace per l'addestramento post-AR1 

I ricercatori di Nvidia hanno affermato che l'addestramento per rinforzo si è dimostrato efficace per il post-addestramento di AR1. Hanno sottolineato che gli sviluppatori possono anche imparare a utilizzare e post-addestrare modelli basati su Cosmos seguendo un ragionamento passo passo. I ricercatori hanno affermato che esempi di inferenza rapida e post-addestramento avanzato si possono trovare nel Cosmos Cookbook. Questa guida completa per gli sviluppatori di IA fisica illustra passo passo la curatela dei dati, la valutazione dei modelli e la generazione di dati sintetici.

Nel frattempo, il produttore di chip ha affermato che le possibilità per le applicazioni basate su Cosmossono praticamente infinite. Il gigante della tecnologia ha fornito esempi di applicazioni basate su Cosmos, tra cui LidarGen, Omniverse NuRec Fixer, Cosmos Policy e ProtoMotions3. 

L'azienda tecnologica si è vantata che LidarGen è stato il primo modello al mondo a generare dati lidar per simulazioni di veicoli autonomi. Ha anche affermato che il suo modello Omniverse NuRec Fixer per la simulazione di robotica e veicoli autonomi sfrutta Cosmos Predict di Nvidia. 

ProtoMotions3 è un framework open source accelerato da GPU basato su Nvidia Newton e Isaac Lab. Secondo il produttore di chip, il framework può essere utilizzato per addestrare robot umanoidi simulati fisicamente e umani digitali. I modelli di base del mondo (WFM) Cosmos possono essere utilizzati per generare scene realistiche.

Nvidia ha inoltre menzionato che i modelli di policy possono essere addestrati in Isaac SIM e Isaac Lab. I dati generati dai modelli di policy possono quindi essere utilizzati per l'addestramento successivo dei Groot N per la robotica.