Nvidia、ロボット工学と物理AIの進化に向けて Cosmos WFMを発表

Nvidiaは、物理AI開発者がビデオ分析AIエージェント、自動運転車（AV）、ロボットの学習に活用する世界モデルを搭載した Cosmos プラットフォームを発表しました。同社によると、 Cosmos 世界モデルは画像や動画の構造化推論を用いて「人間のように物理世界を理解する」とのことです。   

このテクノロジー企業は、 と述べた 。Cosmosプラットフォームは、開発者が特殊な物理AIモデル向けに、すぐに使える事前学習済みモデルをカスタマイズできると説明した Cosmos は、 Cosmos 物理世界の「時空間的理解」を利用して、ロボット工学や自動運転車の意思決定を訓練するためのデータをキュレーションしていると自慢している。

同社はまた、 Cosmos Curatorフレームワークにより、開発者は膨大な量のセンサーデータをフィルタリング、アノテーション、重複排除することが可能になったと付け加えた。開発者はこれらのデータを用いて、特定の物理AIニーズを満たすカスタマイズされたデータセットを作成することができる。Cosmos Cosmos 世界基盤モデルは、産業用ビジョンシステム開発における下流パイプライン用のデータを生成することもできる。.

Cosmos には、予測、転送、推論の基礎モデルが付属しています。 

Nvidiaチームによると、 Cosmos プラットフォームにはPredict予測モデルが搭載されており、開発者は最大30秒間の連続動画を生成できるという。動画は、プロンプトに厳密に従い、マルチモーダル入力から生成される。.

Transferは、開発者が様々な環境や照明条件をシミュレートできるマルチコントロールモデルです。同社はまた、TransferはCARLAやNvidia Isaac Simといった物理AIシミュレーションフレームワークからの3D入力を高速化し、「制御可能なデータ拡張」を可能にすると述べています。   

Nvidiaは、 Cosmos Reasonは人間のように現実の物理世界を理解する、完全にカスタマイズ可能なVLM（Vision Language Model）を採用していると述べています。Reasonは、産業空間や都市空間における業務を理解するビデオ分析エージェントの基盤となり、意思決定に必要なトレーニングデータをキュレーションします。.

このテクノロジー企業は、開発者が基盤モデルを活用して、工場ロボット、自動倉庫、高速道路や悪路を走る自動運転車などの産業およびロボット工学アプリケーションにおける AI モデルのトレーニング用データを生成できることを明らかにしました。.

NVIDIAはまた、これらの基礎モデルはラベルなしデータセットを用いて学習され、ユーザー入力に基づいて新しいデータを生成すると述べた。開発者はこの汎用性を利用して、より小規模なデータセットを用いて事前学習済みモデルを微調整し、カスタムモデルを構築できると付け加えた。開発者は、様々な自律マシンを学習させ、様々な環境を感知し、相互作用させることも可能だ。.

Nvidiaが「デジタルツイン」を強化

NVIDIAは 発表しました。NVIDIA は、これらのライブラリは同社のRTX PROサーバーとDGX Cloudを活用しており、開発者は物理的に正確なデジタルツインを構築できると付け加えました。シミュレーションで現実世界をキャプチャ・再構築することで合成データを生成し、AIエージェントの構築や物理AIモデルの学習に活用できます。 

エヌビディアのオムニバースおよびシミュレーションテクノロジーdent 副社長、レバレディアン氏は、同社は開発者が未来のロボットや自動運転車を開発できるよう支援することに注力していると述べた。レバレディアン氏は、AIとコンピューターグラフィックスが融合し、ロボット工学の基本原理を変革していると説明した。レバレディアン氏は、これらの技術が「数兆ドル規模の産業変革をもたらす」と確信している。 

Nvidiaは 、ロボットシミュレーションや産業用AIアプリケーションの構築と展開に利用できるOmniverseライブラリとSDK（ソフトウェア開発キット）の提供を開始したことを発表しました。SDKは、OpenUSD（Universal Scene Description）とMJCF（MuJoCo）間のデータ相互運用性を実現し、プラットフォームを跨いでロボットのシミュレーションを可能にします。また、「RTXレイトレーシングtracガウススプラッティング」技術により、センサーデータを用いて現実世界の物理環境を3Dでキャプチャ、再構築、シミュレーションすることも可能です。 

Nvidiaは、Figure AI、Skild AI、Boston Dynamics、RAI Institute、Hexagon、LightwheelがAI駆動型ロボティクスプロジェクトの加速にOmniverseとIsaac Suite（SimとLab）を採用したと発表しました。Amazonデバイス＆サービスも、最新の製造ソリューションの基盤としてこれらのNvidiaシステムを採用しています。.