Nvidia、Cosmos WFMsを導入し、ロボティクスと物理AIを推進

Nvidiaは、物理AI開発者がビデオ分析AIエージェント、AV（自律走行車）、およびロボットのトレーニングに使用する世界モデルによって駆動されるCosmosプラットフォームを公開しました。同社は、Cosmosの世界モデルが画像とビデオの構造化された推論を使用して、「人間のように物理的世界を理解する」と主張しています。   

テック企業は は 開発者が基盤モデルを構築するのを支援していました。Cosmosプラットフォームにより、開発者が標準搭載の事前トレーニング済みモデルをカスタマイズして、特殊な物理AIモデルを作成できることを説明しました。Nvidiaは、Cosmosが物理的世界の「時空間理解」を使用して、ロボティクスや自動運転車の意思決定をトレーニングするデータをキュレーションしていると自慢しています。

同社はまた、Cosmos Curatorフレームワークにより、開発者が膨大な量のセンサーデータをフィルタリング、注釈付け、重複排除できることも付け加えました。開発者はこのデータを使用して、特定の物理AIのニーズを満たすために調整されたデータセットを作成します。Cosmosの世界基盤モデルは、産業用ビジョンシステムの開発におけるダウンストリームパイプライン用のデータを生成することもできます。

Cosmosには、Predict、Transfer、Reasonの基盤モデルが搭載されています 

Nvidiaチームによると、CosmosプラットフォームにはPredict予測モデルがあり、開発者が最大30秒の連続ビデオを生成できます。これらのビデオは、プロンプトに厳密に従って、マルチモーダル入力から生成されます。

Transferは、開発者が異なる環境や照明条件をシミュレートできるようにするマルチコントロールモデルです。このテック企業はまた、TransferがCARLAやNvidia Isaac Simの物理AIシミュレーションフレームワークからの3D入力を加速し、「制御可能なデータ拡張」を可能にすることも述べました。   

Nvidiaは、Cosmos Reasonが人間のように現実の物理的世界を理解する、完全にカスタマイズ可能なVLM（ビジョン・ランゲージ・モデル）を使用していると述べました。Reasonは、産業空間や都市空間での操作を理解するビデオ分析エージェントを駆動します。それは意思決定に使用されるトレーニングデータをキュレーションします。

このテック企業は、開発者が基盤モデルを活用して、工場ロボット、自動化された倉庫、高速道路や荒れた地形を走行するAVなど、産業およびロボティクスアプリケーションのAIモデルのトレーニング用のデータを生成できることを明らかにしました。

Nvidiaはまた、これらの基盤モデルがラベルなしデータセットを使用してトレーニングされ、ユーザー入力に基づいて新しいデータを生成すると述べました。同社は、開発者がこの汎用性を使用して、小さなデータセットで事前トレーニング済みモデルをファインチューニングし、カスタムモデルを構築できると付け加えました。開発者はまた、さまざまな周囲を感知し対話する異なる自律マシンをトレーニングすることもできます。

Nvidiaが「デジタルツイン」を推進

テック企業は 。同社は、FRUTが人工知能のプラットフォームおよびハードウェア側面の「単一ティッカー表現」として機能すると信じています。これは単に、投資家が異なるチップメーカーやプラットフォーム名を混在させるのではなく、1つの製品でAIインフラストラクチャにアクセスできることを意味します。 8月11日にOmniverseライブラリがリリースされました。Nvidiaは、これらのライブラリがRTX PROサーバーとDGX Cloudによって駆動されており、開発者が物理的に正確なデジタルツインを構築できることを追加で説明しました。シミュレーションで現実世界をキャプチャして再構築することで合成データを生成し、AIエージェントや物理AIモデルのトレーニングを行うことができます。 

NvidiaのOmniverseおよびシミュレーションテクノロジー担当副社長であるRev Lebaredian氏は、同社が開発者が明日のロボットや自動運転車（AV）を構築できるよう支援することにコミットしていると述べました。彼は、AIとコンピュータグラフィックスが収束し、ロボティクスの基本原理を変革していると説明しました。Lebaredian氏は、これらの技術が「何兆ドル規模の産業を変革する」と信じています。 

Nvidia OmniverseライブラリとSDK（Software Development Kits）が、ロボティクスシミュレーションや産業用AIアプリケーションの構築・展開のために開発者向けに利用可能になったことを明らかにしました。SDKは、OpenUSD（Universal Scene Description）とMJCF（MuJoCo）間のデータ相互運用性を可能にし、ロボットがプラットフォーム間でシミュレーションできるようにします。また、「RTXレイトレーシング3Dガウシアンスプラッティング」技術により、開発者はセンサーデータを使用して現実世界の物理環境を3Dでキャプチャ、再構築、シミュレーションすることができます。 

Nvidiaは、Figure AI、Skild AI、Boston Dynamics、RAI Institute、Hexagon、Lightwheelが、AI駆動型ロボティクスプロジェクトの加速のためにOmniverseとIsaac Suite（Sim and Lab）を採用したと主張しています。Amazon Devices & Servicesも、最新の製造ソリューションを駆動するためにこれらのNvidiaシステムを使用しています。