Nvidia introduz Cosmos WFMs para avançar a robótica e a IA física

A Nvidia revelou a plataforma Cosmos, alimentada por modelos mundiais que desenvolvedores de IA física usarão para treinar agentes de IA de análise de vídeo, AVs (Veículos Autônomos) e robôs. A empresa afirma que os modelos mundiais Cosmos usam raciocínio estruturado em imagens e vídeos para “entender o mundo físico como os humanos.”   

A empresa de tecnologia disse estava ajudando os desenvolvedores a construir modelos fundamentais. Explicou que a plataforma Cosmos permitia aos desenvolvedores personalizar modelos pré-treinados prontos para uso para modelos especializados de IA física. A Nvidia garante que o Cosmos usa uma “compreensão espaço-temporal” do mundo físico para curar dados que treinam a tomada de decisões em robótica e carros autônomos.

A empresa também acrescentou que o framework Cosmos Curator permitia aos desenvolvedores filtrar, anotar e deduplicar enormes quantidades de dados de sensores. Os desenvolvedores usam esses dados para criar conjuntos de dados personalizados que atendem a necessidades específicas de IA física. Os modelos fundamentais mundiais Cosmos também podem gerar dados para pipelines downstream no desenvolvimento de sistemas de visão industrial.

Cosmos vem com modelos fundamentais Predict, Transfer e Reason 

De acordo com a equipe da Nvidia, a plataforma Cosmos possui o modelo de previsão Predict, permitindo que os desenvolvedores gerem vídeos contínuos de até 30 segundos. Os vídeos são gerados a partir de entradas multimodais com estrita aderência aos prompts.

Transfer é um modelo de multicontrol que permite aos desenvolvedores simular diferentes ambientes e condições de iluminação. A empresa de tecnologia também disse que o Transfer pode acelerar entradas 3D dos frameworks de simulação de IA física CARLA e Nvidia Isaac Sim para permitir “aumento de dados controlável.”   

A Nvidia afirmou que o Cosmos Reason usava um VLM (Vision Language Model) totalmente personalizável que entendia o mundo físico real como os humanos. O Reason alimenta agentes de análise de vídeo que entendem operações em espaços industriais e urbanos. Ele cura os dados de treinamento usados para tomada de decisões.

A empresa de tecnologia revelou que os desenvolvedores poderiam aproveitar os modelos fundamentais para gerar dados para treinar modelos de IA em aplicações industriais e de robótica, como robôs de fábrica, armazéns automatizados e AVs em rodovias ou terrenos acidentados.

A Nvidia também disse que esses modelos fundamentais foram treinados usando conjuntos de dados não rotulados para gerar novos dados com base nas entradas do usuário. Ela acrescentou que os desenvolvedores podem usar essa generalização para ajustar os modelos pré-treinados usando conjuntos de dados menores para construir modelos personalizados. Os desenvolvedores também podem treinar diferentes máquinas autônomas para sentir e interagir com vários ambientes.

A Nvidia alimenta ‘gêmeos digitais’

A empresa de tecnologia . A empresa acredita que o FRUT servirá como uma “expressão de bilhete único” dos aspectos de plataforma e hardware da inteligência artificial. Isso simplesmente significa que os investidores têm acesso à infraestrutura de IA com um produto, em vez de misturar diferentes fabricantes de chips e nomes de plataformas. o lançamento das bibliotecas Omniverse em 11 de agosto. A Nvidia acrescentou que as bibliotecas eram alimentadas por seus servidores RTX PRO e DGX Cloud, permitindo que os desenvolvedores construíssem gêmeos digitais fisicamente precisos. Dados sintéticos podem ser gerados capturando e reconstruindo o mundo real em simulação para construir agentes de IA e treinar modelos de IA física. 

Rev Lebaredian, vice-presidente de Omniverse e Tecnologias de Simulação na Nvidia, disse que sua empresa estava comprometida em permitir que os desenvolvedores construíssem os robôs e AVs do amanhã. Ele explicou que a IA e os gráficos por computador estavam convergindo para transformar os princípios básicos da robótica. Lebaredian acredita que essas tecnologias “transformarão trilhões de dólares em indústrias.” 

Nvidia revelou que as bibliotecas e SDKs (Kit de Desenvolvimento de Software) Omniverse agora estavam disponíveis para desenvolvedores construírem e implantarem simulações de robótica e aplicações de IA industrial. Os SDKs permitem interoperabilidade de dados entre OpenUSD (Universal Scene Description) e MJCF (MuJoCo) para permitir que robôs sejam simulados em várias plataformas. A técnica de ‘splatting 3D Gaussiano com ray-tracing RTX’ também permite que os desenvolvedores capturem, reconstruam e simulem ambientes físicos no mundo real em 3D usando dados de sensores. 

A Nvidia afirmou que a Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon e Lightwheel adotaram o Omniverse e o Isaac Suite (Sim e Lab) para acelerar seus projetos de robótica impulsionados por IA. A Amazon Devices & Services também usou esses sistemas Nvidia para alimentar suas mais recentes soluções de manufatura.