英伟达推出 Cosmos WFM，以推进机器人技术和物理人工智能的发展

英伟达发布了 Cosmos 平台，该平台由世界模型驱动，物理人工智能开发者将利用这些模型来训练视频分析人工智能代理、自动驾驶汽车和机器人。该公司声称， Cosmos 世界模型利用图像和视频的结构化推理来“像人类一样理解物理世界”。   

这家科技公司 表示， 它正在帮助开发者构建基础模型。该公司解释说， Cosmos 平台允许开发者定制现成的预训练模型，用于特定的物理人工智能模型。英伟达宣称， Cosmos 利用对物理世界的“时空理解”来收集数据，这些数据用于训练机器人和自动驾驶汽车的决策能力。

该公司还补充道， Cosmos Curator框架使开发人员能够过滤、标注和去重海量传感器数据。开发人员利用这些数据创建满足特定物理人工智能需求的定制数据集。Cosmos Cosmos 基础模型还可以为工业视觉系统开发中的下游流程生成数据。.

Cosmos 包含预测、迁移和推理基础模型。 

据英伟达团队介绍， Cosmos 平台拥有Predict预测模型，允许开发者生成长达30秒的连续视频。这些视频基于多模态输入生成，并严格遵循提示。.

Transfer 是一种多控制模型，允许开发人员模拟不同的环境和光照条件。这家科技公司还表示，Transfer 可以加速来自 CARLA 和 Nvidia Isaac Sim 物理 AI 仿真框架的 3D 输入，从而实现“可控数据增强”。   

英伟达表示， Cosmos Reason 使用了一种完全可定制的视觉语言模型 (VLM)，能够像人类一样理解真实的物理世界。Reason 为视频分析代理提供支持，这些代理能够理解工业和城市空间中的各种运行情况。它还负责整理用于决策的训练数据。.

这家科技公司透露，开发人员可以利用这些基础模型生成数据，用于训练工业和机器人应用中的人工智能模型，例如工厂机器人、自动化仓库以及在高速公路或崎岖地形上行驶的自动驾驶汽车。.

英伟达还表示，这些基础模型使用未标记的数据集进行训练，以便根据用户输入生成新数据。该公司补充说，开发者可以利用这种泛化能力，使用较小的数据集对预训练模型进行微调，从而构建自定义模型。开发者还可以训练不同的自主机器来感知各种环境并与之交互。.

英伟达为“数字孪生”技术提供支持

这家科技公司 宣布 推出Omniverse库。英伟达补充说，这些库由其RTX PRO服务器和DGX云提供支持，使开发人员能够构建物理上精确的数字孪生模型。通过在模拟环境中捕获和重建真实世界，可以生成合成数据，从而构建人工智能代理并训练物理人工智能模型。 

英伟达Omniverse与仿真技术副dent Lebaredian表示，该公司致力于帮助开发者打造未来的机器人和自动驾驶汽车。他解释说，人工智能和计算机图形学正在融合，从而改变机器人技术的基本原理。Lebaredian认为，这些技术将“改变数万亿美元的产业”。 

英伟达 宣布，Omniverse 库和 SDK（软件开发工具包）现已面向开发者开放，用于构建和部署机器人仿真和工业人工智能应用。这些 SDK 实现了 OpenUSD（通用场景描述）和 MJCF（MuJoCo）之间的数据互操作性，从而支持跨平台机器人仿​​真。“RTX 光线trac3D 高斯散射”技术还允许开发者使用传感器数据在现实世界中捕获、重建和仿真 3D 物理环境。 

英伟达声称，Figure AI、Skild AI、波士顿动力公司、RAI研究所、Hexagon和Lightwheel等公司均采用了Omniverse和Isaac Suite（Sim和Lab）来加速其人工智能驱动的机器人项目。亚马逊设备与服务部门也使用了这些英伟达系统来支持其最新的制造解决方案。.