Nvidia avança na IA física e digital com novos modelos e ferramentas de IA abertos

A Nvidia revelou novas ferramentas e desenvolvimento de modelos abertos para IA física e digital, incluindo o Nvidia Drive Alpamayo-R1 (AR1) para direção autônoma. A gigante da tecnologia anunciou na conferência de IA NeurIPS que está aumentando ainda mais seu cluster de modelos de IA abertos, ferramentas e conjuntos de dados.

A Nvidia disse que seus novos modelos abertos de IA física e digital visam apoiar a pesquisa na indústria de IA e além. Ela destacou que seu Alpamayo-R1 é o primeiro modelo de linguagem, visão e ação de raciocínio (VLA) aberto em escala industrial do mundo para carros autônomos. A fabricante de chips também insinuou o lançamento de novos conjuntos de dados e modelos para segurança de IA e fala. 

Os pesquisadores da empresa de tecnologia prepararam mais de 70 artigos, workshops e palestras para apresentação na conferência. A empresa está compartilhando seus projetos inovadores que abrangem pesquisa médica, direção autônoma e raciocínio de IA. 

Nvidia mostra compromisso mais forte com o código aberto

A gigante da tecnologia demonstraram um compromisso mais substancial com o código aberto no evento de IA, um esforço reconhecido pela plataforma de benchmarking de IA Artificial Analysis com seu novo Índice de Abertura. O Índice Aberto da Artificial Analysis classificou a família de ferramentas de IA Nemotron da empresa como uma das melhores disponíveis. A classificação é baseada na quantidade de informações técnicas compartilhadas, na facilidade de uso das licenças do modelo e na clareza dos regulamentos de uso de dados. 

Enquanto isso, o AR1 (Alpamayo-R1) integra o raciocínio de IA de cadeia de pensamento com o planejamento de caminho para permitir a autonomia de nível 4 e melhorar a segurança do AV (veículo autônomo) em vários cenários de estrada. A fabricante de chips disse que as iterações anteriores dos modelos de direção autônoma tiveram dificuldades com situações como uma interseção com muitos pedestres, um carro estacionado em duplo sentido em uma ciclovia ou um fechamento de estrada se aproximando. No entanto, o raciocínio dá aos veículos autônomos o senso comum para dirigir como humanos.

O modelo AR1 consegue isso dividindo os cenários e raciocinando passo a passo para considerar todos os resultados possíveis. Em seguida, usa dados contextuais para determinar o curso de ação mais eficaz. 

Nvidia afirma que o AR1 acessa o raciocínio de cadeia de pensamento que permite processar dados ao longo de seu caminho e usar as informações para planejar uma trajetória, como parar para pedestres atravessando fora da faixa. A base aberta do modelo é baseada no Cosmos Reason da empresa de tecnologia, que permite que os pesquisadores o personalizem para seus casos de uso não comerciais. 

Os pesquisadores também podem personalizar o modelo AR1 para benchmarking ou desenvolver aplicações experimentais para AVs, de acordo com a fabricante de chips. O Nvidia Drive Alpamayo-R1 estará disponível no Hugging Face e GitHub, enquanto um subconjunto dos dados usados para treinar e avaliar os modelos está disponível no Nvidia Physical AI Open Datasets. 

Aprendizagem por reforço prova ser eficaz para o pós-treinamento de AR1 

Pesquisadores da Nvidia afirmaram que o treinamento por reforço provou ser eficaz para o pós-treinamento do AR1. Eles apontaram que os desenvolvedores também podem aprender como usar e realizar o pós-treinamento de modelos com base no Cosmos usando raciocínio passo a passo. Os pesquisadores disseram que exemplos de inferência de início rápido e pós-treinamento avançado podem ser encontrados no Cosmos Cookbook. O guia abrangente para desenvolvedores de IA física cobre curadoria de dados passo a passo, avaliação de modelos e geração de dados sintéticos.

Enquanto isso, a fabricante de chips disse que as possibilidades para aplicativos baseados no Cosmos são praticamente ilimitadas. A gigante da tecnologia forneceu exemplos de aplicativos baseados no Cosmos, incluindo LidarGen, Omniverse NuRec Fixer, Cosmos Policy e ProtoMotions3. 

A empresa tecnológica gabou-se de que o LidarGen foi o primeiro modelo do mundo a gerar dados de lidar para simulações de veículos autônomos. Ela também mencionou que seu modelo Omniverse NuRec Fixer para robótica e simulação de AV utiliza o Cosmos Predict da Nvidia. 

O ProtoMotions3 é um framework de código aberto e acelerado por GPU, construído sobre a Nvidia Newton e Isaac Lab. De acordo com a fabricante de chips, o framework pode ser usado para treinar robôs humanoides e humanos digitais simulados fisicamente. Os modelos de fundação do mundo Cosmos (WFMs) podem ser usados para gerar cenas realistas.

A Nvidia também mencionou que os modelos de política podem ser treinados no Isaac SIM e Isaac Lab. Os dados gerados a partir dos modelos de política podem então ser usados para o pós-treinamento dos Groot N modelos da fabricante de chips para robótica.