Nvidia推出Cosmos WFMs以推动机器人和物理AI的发展

Nvidia 推出了 Cosmos 平台，该平台由世界模型驱动，物理 AI 开发人员将使用这些模型来训练视频分析 AI 代理、自动驾驶汽车（AVs）和机器人。该公司声称，Cosmos 世界模型利用对图像和视频的结构化推理，“像人类一样理解物理世界”。   

这家科技公司 表示 它正在帮助开发人员构建基础模型。它解释说，Cosmos 平台允许开发人员定制开箱即用的预训练模型，以用于专门的物理 AI 模型。Nvidia 声称，Cosmos 利用对物理世界的“时空理解”来整理数据，从而训练机器人和自动驾驶汽车的决策能力。

该公司还补充说，Cosmos Curator 框架使开发人员能够过滤、注释和去重海量传感器数据。开发人员使用这些数据创建满足特定物理 AI 需求的定制数据集。Cosmos 世界基础模型还可以为开发工业视觉系统的下游管道生成数据。

Cosmos 配备预测、迁移和推理基础模型 

根据 Nvidia 团队的说法，Cosmos 平台拥有 Predict 预测模型，允许开发人员生成长达 30 秒的连续视频。这些视频由多模态输入生成，并严格遵守提示词。

Transfer 是一个多控制模型，允许开发人员模拟不同的环境和光照条件。这家科技公司还表示，Transfer 可以加速来自 CARLA 和 Nvidia Isaac Sim 物理 AI 模拟框架的 3D 输入，以实现“可控数据增强”。   

Nvidia 表示，Cosmos Reason 使用了一个完全可定制的 VLM（视觉语言模型），该模型像人类一样理解真实的物理世界。Reason 为视频分析代理提供动力，这些代理理解工业和城市空间中的操作。它整理用于决策的训练数据。

这家科技公司披露，开发人员可以利用这些基础模型为工业和机器人应用中的 AI 模型生成训练数据，例如工厂机器人、自动化仓库以及在高速公路或崎岖地形上行驶的自动驾驶汽车。

Nvidia 还表示，这些基础模型是使用未标记数据集训练的，以根据用户输入生成新数据。它补充说，开发人员可以利用这种泛化能力，使用较小的数据集微调预训练模型以构建定制模型。开发人员还可以训练不同的自主机器来感知并与各种环境互动。

Nvidia 赋能“数字孪生”

这家科技公司 宣布 8 月 11 日发布 Omniverse 库。Nvidia 补充说，这些库由其 RTX PRO 服务器和 DGX Cloud 提供支持，允许开发人员构建物理上准确的数字孪生体。可以通过捕获和重建现实世界来生成合成数据，以构建 AI 代理并训练物理 AI 模型。 

Nvidia 的 Omniverse 和仿真技术副总裁 Rev Lebaredian 表示，他的公司致力于使开发人员能够构建明天的机器人和自动驾驶汽车。他解释说，AI 和计算机图形学正在融合，以改变机器人技术的基本原理。Lebaredian 相信这些技术将“改变数万亿美元的产业”。 

英伟达 披露 Omniverse 库和 SDK（软件开发工具包）现已可供开发人员构建和部署机器人仿真和工业 AI 应用。SDK 实现了 OpenUSD（通用场景描述）和 MJCF（MuJoCo）之间的数据互操作性，允许跨平台模拟机器人。‘RTX 光线追踪 3D 高斯溅射’技术还允许开发人员使用传感器数据在 3D 中捕获、重建和模拟现实世界中的物理环境。 

Nvidia 声称，Figure AI、Skild AI、Boston Dynamics、RAI Institute、Hexagon 和 Lightwheel 采用了 Omniverse 和 Isaac Suite（Sim 和 Lab）来加速其 AI 驱动的机器人项目。Amazon Devices & Services 也使用这些 Nvidia 系统为其最新的制造解决方案提供动力。