Nvidia avanza en IA física y digital con nuevos modelos y herramientas de IA abiertas

Nvidia ha desvelado nuevas herramientas y desarrollo de modelos abiertos para IA física y digital, incluyendo Nvidia Drive Alpamayo-R1 (AR1) para la conducción autónoma. El gigante tecnológico anunció en la conferencia de IA NeurIPS que está aumentando aún más su clúster de modelos de IA abiertos, herramientas y conjuntos de datos.

Nvidia dijo que sus nuevos modelos de IA física y digital abiertos tienen como objetivo apoyar la investigación en la industria de la IA y más allá. Enorgulleció que su Alpamayo-R1 es el primer modelo de lenguaje, visión y acción de razonamiento (VLA) abierto a escala industrial del mundo para coches autónomos. El fabricante de chips también insinuó el lanzamiento de nuevos conjuntos de datos y modelos para la seguridad de la IA y el habla. 

Los investigadores de la empresa tecnológica han preparado más de 70 artículos, talleres y charlas para presentar en la conferencia. La empresa está compartiendo sus proyectos innovadores que abarcan la investigación médica, la conducción autónoma y el razonamiento de la IA. 

Nvidia muestra un compromiso más fuerte con el código abierto

El gigante tecnológico demostró un compromiso más sustancial con el código abierto en el evento de IA, un esfuerzo reconocido por la plataforma de evaluación de IA Artificial Analysis con su nuevo Índice de Apertura. El Índice Abierto de Artificial Analysis calificó a la familia de herramientas de IA Nemotron de la empresa como una de las mejores disponibles. La calificación se basa en la cantidad de información técnica compartida, la facilidad de uso de las licencias de modelos y la claridad de las regulaciones de uso de datos. 

Mientras tanto, AR1 (Alpamayo-R1) integra el razonamiento de pensamiento en cadena de la IA con la planificación de rutas para permitir la autonomía de nivel 4 y mejorar la seguridad de los AV (vehículos autónomos) en varios escenarios de carretera. El fabricante de chips dijo que las iteraciones anteriores de los modelos de conducción autónoma luchaban con situaciones como una intersección con muchos peatones, un coche aparcado en doble fila en un carril para bicicletas o un cierre de carretera que se acerca. Sin embargo, el razonamiento da a los vehículos autónomos el sentido común para conducir como los humanos.

El modelo AR1 logra esto descomponiendo los escenarios y razonando a través de cada paso para considerar todos los resultados posibles. Luego utiliza datos contextuales para determinar el curso de acción más efectivo. 

Nvidia afirma que AR1 aprovecha el razonamiento de pensamiento en cadena que le permite procesar datos a lo largo de su ruta y usar la información para planificar una trayectoria, como detenerse para los peatones que cruzan por la calle. La base abierta del modelo se basa en Cosmos Reason de la empresa tecnológica, lo que permite a los investigadores personalizarlo para sus casos de uso no comerciales. 

Los investigadores también pueden personalizar el modelo AR1 para la evaluación o el desarrollo de aplicaciones experimentales para AV, según el fabricante de chips. Nvidia Drive Alpamayo-R1 estará disponible en Hugging Face y GitHub, mientras que un subconjunto de los datos utilizados para entrenar y evaluar los modelos está disponible en Nvidia Physical AI Open Datasets. 

El aprendizaje por refuerzo demuestra ser eficaz para el post-entrenamiento de AR1 

Los investigadores de Nvidia afirmaron que el entrenamiento por refuerzo había demostrado ser eficaz para el post-entrenamiento de AR1. Señalaron que los desarrolladores también pueden aprender cómo utilizar y post-entrenar modelos basados en Cosmos utilizando razonamiento paso a paso. Los investigadores indicaron que ejemplos de inferencia de inicio rápido y post-entrenamiento avanzado se pueden encontrar en el Recetario de Cosmos. La guía integral para desarrolladores de IA física cubra la curación de datos paso a paso, la evaluación de modelos y la generación de datos sintéticos.

Mientras tanto, la fabricante de chips dijo que las posibilidades para las aplicaciones basadas en Cosmos son prácticamente ilimitadas. El gigante tecnológico proporcionó ejemplos de aplicaciones basadas en Cosmos, incluyendo LidarGen, Omniverse NuRec Fixer, Cosmos Policy y ProtoMotions3. 

La firma tecnológica se enorgullecía de que LidarGen era el primer modelo del mundo en generar datos de lidar para simulaciones de vehículos autónomos. También mencionó que su modelo Omniverse NuRec Fixer para robótica y simulación de AV se aprovecha de Nvidia’s Cosmos Predict. 

ProtoMotions3 es un marco de trabajo de código abierto y acelerado por GPU, construido sobre Nvidia Newton e Isaac Lab. Según la fabricante de chips, el marco de trabajo se puede utilizar para entrenar robots humanoides y humanos digitales simulados físicamente. Los modelos de fundación del mundo Cosmos (WFMs) se pueden utilizar para generar escenas realistas.

Nvidia también mencionó que los modelos de política se pueden entrenar en Isaac SIM e Isaac Lab. Los datos generados a partir de los modelos de política se pueden utilizar luego para post-entrenar los Groot N modelos de robótica de la fabricante de chips.