Nvidia presenta Cosmos WFM para impulsar la robótica y la IA física

Nvidia presentó la plataforma Cosmos , impulsada por modelos del mundo que los desarrolladores de IA física utilizarán para entrenar agentes de IA de análisis de video, vehículos autónomos (AV) y robots. La compañía afirma que los modelos del mundo Cosmos utilizan razonamiento estructurado sobre imágenes y videos para comprender el mundo físico como los humanos   

La empresa tecnológica afirmó que estaba ayudando a los desarrolladores a crear modelos fundamentales. Explicó que la Cosmos permitía a los desarrolladores personalizar modelos preentrenados listos para usar con modelos de IA física especializados. Nvidia destaca que Cosmos utiliza una «comprensión espaciotemporal» del mundo físico para gestionar datos que entrenan la toma de decisiones en robótica y vehículos autónomos.

La compañía también añadió que el framework Cosmos Curator permitió a los desarrolladores filtrar, anotar y deduplicar grandes cantidades de datos de sensores. Los desarrolladores utilizan estos datos para crear conjuntos de datos personalizados que satisfacen necesidades físicas específicas de IA. Los modelos de base mundial Cosmos también pueden generar datos para las tuberías posteriores en el desarrollo de sistemas de visión industrial.

Cosmos viene con los modelos básicos Predict, Transfer y Reason 

Según el equipo de Nvidia, la plataforma Cosmos cuenta con el modelo de predicción Predict, que permite a los desarrolladores generar vídeos continuos de hasta 30 segundos. Los vídeos se generan a partir de entradas multimodales con estricto apego a las indicaciones.

Transfer es un modelo multicontrol que permite a los desarrolladores simular diferentes entornos y condiciones de iluminación. La compañía tecnológica también afirmó que Transfer puede acelerar las entradas 3D de los marcos de simulación de IA física CARLA y Nvidia Isaac Sim para permitir la "aumentación de datos controlable"   

Nvidia afirmó que Cosmos Reason utilizaba un VLM (Modelo de Lenguaje de Visión) totalmente personalizable que entendía el mundo físico real como los humanos. Reason impulsa agentes de análisis de video que comprenden las operaciones en espacios industriales y urbanos. Cura los datos de entrenamiento utilizados para la toma de decisiones.

La empresa de tecnología reveló que los desarrolladores podrían aprovechar los modelos básicos para generar datos para entrenar modelos de IA en aplicaciones industriales y robóticas, como robots de fábrica, almacenes automatizados y vehículos autónomos en carreteras o terrenos difíciles.

Nvidia también indicó que estos modelos fundamentales se entrenaron utilizando conjuntos de datos sin etiquetar para generar nuevos datos basados ​​en las entradas del usuario. Añadió que los desarrolladores pueden usar esta generalización para perfeccionar los modelos preentrenados utilizando conjuntos de datos más pequeños para crear modelos personalizados. Los desarrolladores también pueden entrenar diferentes máquinas autónomas para detectar e interactuar con diversos entornos.

Nvidia impulsa los 'gemelos digitales'

La compañía tecnológica anunció el lanzamiento de las bibliotecas Omniverse el 11 de agosto. Nvidia añadió que las bibliotecas se basaban en sus servidores RTX PRO y DGX Cloud, lo que permitía a los desarrolladores crear gemelos digitales físicamente precisos. Se pueden generar datos sintéticos capturando y reconstruyendo el mundo real en simulación para crear agentes de IA y entrenar modelos físicos de IA. 

El reverendo Lebaredian,dent de Omniverse y Tecnologías de Simulación de Nvidia, afirmó que su empresa se compromete a facilitar a los desarrolladores la creación de los robots y vehículos autónomos del futuro. Explicó que la IA y los gráficos por computadora están convergiendo para transformar los principios básicos de la robótica. Lebaredian cree que estas tecnologías transformarán billones de dólares en las industrias 

Nvidia anunció que las bibliotecas y los SDK (kits de desarrollo de software) de Omniverse ya están disponibles para que los desarrolladores creen e implementen aplicaciones de simulación robótica e inteligencia artificial industrial. Los SDK permiten la interoperabilidad de datos entre OpenUSD (Universal Scene Description) y MJCF (MuJoCo), lo que posibilita la simulación de robots en diferentes plataformas. La técnica de "trac" también permite a los desarrolladores capturar, reconstruir y simular entornos físicos del mundo real en 3D utilizando datos de sensores. 

Nvidia afirmó que Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon y Lightwheel adoptaron Omniverse e Isaac Suite (Sim y Lab) para acelerar sus proyectos de robótica basados ​​en IA. Amazon Devices & Services también utilizó estos sistemas de Nvidia para impulsar sus soluciones de fabricación más recientes.