A Nvidia apresenta Cosmos WFMs para impulsionar a robótica e a IA física

A Nvidia apresentou a plataforma Cosmos , baseada em modelos do mundo real que desenvolvedores de IA física usarão para treinar agentes de IA para análise de vídeo, veículos autônomos e robôs. A empresa afirma que os modelos do Cosmos utilizam raciocínio estruturado em imagens e vídeos para "compreender o mundo físico como os humanos"   

A empresa de tecnologia afirmou estar ajudando desenvolvedores a construir modelos fundamentais. Explicou que a Cosmos permite que os desenvolvedores personalizem modelos pré-treinados prontos para uso, para modelos de IA física especializados. A Nvidia destaca que Cosmos utiliza uma "compreensão espaço-temporal" do mundo físico para selecionar dados que treinam a tomada de decisões em robótica e carros autônomos.

A empresa também acrescentou que a estrutura Cosmos Curator permite que os desenvolvedores filtrem, anotem e removam duplicatas de grandes quantidades de dados de sensores. Os desenvolvedores usam esses dados para criar conjuntos de dados personalizados que atendem a necessidades específicas de IA física. Os modelos de base do Cosmos também podem gerar dados para fluxos de trabalho subsequentes no desenvolvimento de sistemas de visão industrial.

Cosmos inclui os modelos básicos de Previsão, Transferência e Raciocínio 

Segundo a equipe da Nvidia, a plataforma Cosmos possui o modelo de previsão Predict, que permite aos desenvolvedores gerar vídeos contínuos de até 30 segundos. Os vídeos são gerados a partir de entradas multimodais com estrita observância das instruções.

O Transfer é um modelo de multicontrole que permite aos desenvolvedores simular diferentes ambientes e condições de iluminação. A empresa de tecnologia também afirmou que o Transfer pode acelerar entradas 3D das estruturas de simulação física de IA CARLA e Nvidia Isaac Sim para possibilitar o "aumento controlável de dados"   

A Nvidia afirmou que Cosmos Reason utiliza um VLM (Modelo de Linguagem de Visão) totalmente personalizável, capaz de compreender o mundo físico real da mesma forma que os humanos. O Reason alimenta agentes de análise de vídeo que entendem operações em espaços industriais e urbanos. Ele seleciona os dados de treinamento usados ​​para a tomada de decisões.

A empresa de tecnologia revelou que os desenvolvedores podem aproveitar os modelos básicos para gerar dados para o treinamento de modelos de IA em aplicações industriais e de robótica, como robôs de fábrica, armazéns automatizados e veículos autônomos em rodovias ou terrenos acidentados.

A Nvidia também afirmou que esses modelos fundamentais foram treinados usando conjuntos de dados não rotulados para gerar novos dados com base nas entradas do usuário. Acrescentou que os desenvolvedores podem usar essa capacidade de generalização para ajustar os modelos pré-treinados usando conjuntos de dados menores para criar modelos personalizados. Os desenvolvedores também podem treinar diferentes máquinas autônomas para perceber e interagir com diversos ambientes.

A Nvidia impulsiona os 'gêmeos digitais'

A empresa de tecnologia anunciou o lançamento das bibliotecas Omniverse em 11 de agosto. A Nvidia acrescentou que as bibliotecas são baseadas em seus servidores RTX PRO e na nuvem DGX, permitindo que os desenvolvedores criem gêmeos digitais fisicamente precisos. Dados sintéticos podem ser gerados capturando e reconstruindo o mundo real em simulação para criar agentes de IA e treinar modelos físicos de IA. 

Rev. Lebaredian, vice-dent de Tecnologias de Simulação e Omniverse da Nvidia, afirmou que sua empresa está comprometida em permitir que desenvolvedores criem os robôs e veículos autônomos do futuro. Ele explicou que a inteligência artificial e a computação gráfica estão convergindo para transformar os princípios básicos da robótica. Lebaredian acredita que essas tecnologias irão “transformar trilhões de dólares em diversos setores” 

A Nvidia anunciou que as bibliotecas e SDKs (Kits de Desenvolvimento de Software) do Omniverse já estão disponíveis para desenvolvedores criarem e implementarem simulações de robótica e aplicações de IA industrial. Os SDKs permitem a interoperabilidade de dados entre OpenUSD (Universal Scene Description) e MJCF (MuJoCo), possibilitando a simulação de robôs em diversas plataformas. A técnica de "RTX ray-trac3D Gaussian splatting" também permite que os desenvolvedores capturem, reconstruam e simulem ambientes físicos do mundo real em 3D usando dados de sensores. 

A Nvidia afirmou que a Figure AI, a Skild AI, a Boston Dynamics, o RAI Institute, a Hexagon e a Lightwheel adotaram o Omniverse e o Isaac Suite (Simulação e Laboratório) para acelerar seus projetos de robótica baseados em IA. A Amazon Devices & Services também utilizou esses sistemas da Nvidia para impulsionar suas soluções de manufatura mais recentes.