NVIDIA、ワールドモデル「Cosmos 3」に4つのオープンウェイトモデルを追加

発表された4つのモデル

NVIDIAはCosmos 3モデルファミリーに、4つのオープンウェイトのチェックポイントを追加した。いずれもCosmos 3 Nanoをポストトレーニングした例として位置づけられ、学習可能パラメータは16Bと説明されている。用途は自動運転向けの合成データ生成と、ロボット向けの行動条件付き映像生成に分かれる。

内訳は次の通り。Transfer-Autoは天候・照明・時間帯を変えたマルチ視点の走行データを生成する双方向モデル。Sim-Autoはその蒸留版で、走行制御を入力に同期したカメラ映像とLiDARをストリーミング生成する。Sim-Transferはシミュレータの制御とテキストプロンプトからフォトリアルな映像を作り、Sim-Bimanualはロボットやカメラの行動から次の映像を予測する。

ライセンスはOpenMDW1.1で、その条件の下で商用・非商用の利用が可能とされている。チェックポイントだけでなく、ポストトレーニングのレシピと技術レポートも公開されている点が特徴である。

ストリーミング生成の仕組み

Cosmos 3はMixture-of-Transformersと呼ぶバックボーンを持ち、テキスト処理のネットワークと映像生成のネットワークをアテンションで接続する。生成側はプロンプト、利用可能な制御、そして生成済みの履歴から短いセグメントを予測する。

時間方向の因果アテンションにより、履歴と制御は参照できる一方で未来のターゲット観測は参照できない。アテンション情報はKVキャッシュに保持され、次の予測に再利用される。

モデルはlatentと呼ぶ圧縮された映像表現で動作する。最初の画像の後、latentの1タイムステップがRGB4フレームに相当する。Transferは1チャンクあたり1ステップ、レポートで最適化されたBimanualは2ステップを予測する。チャンクを小さくするほど、新しい制御を生成に反映させやすいと説明されている。

4段階の学習レシピ

学習は4段階で構成される。Stage 0は双方向適応で、記録済みの完全なクリップからドメインと制御から映像への関係を学ぶ。Stage 1はティーチャーフォーシングで、過去の観測と利用可能な制御から各チャンクを予測し、正解と未来のターゲットはマスクする。

Stage 2は一貫性蒸留で、固定したティーチャーを使い、4回のデノイジングステップでチャンクを生成する生徒モデルを訓練する。Stage 3はセルフフォーシングで、生徒が生成した履歴の上で学習し、固定ティーチャーと補助スコアモデルが分布一致の信号を与える。

最終段階を置く理由は誤差の累積にある。わずかに誤って予測された物体が後続フレームの文脈になってしまうため、生成履歴に訓練をさらす必要がある。蒸留とキャッシュは、観測を1つ生成するコストを下げる役割を担う。

適応手順と現時点の制約

自社環境への適応経路も示されている。Transfer-Autoを自社の走行データでポストトレーニングしてカメラ構成やLiDAR構成、対象ドメインに合わせ、その後に因果訓練と蒸留を行ってSim-Autoを作る流れである。Sim-TransferとSim-Bimanualも、それぞれの環境やロボット embodiment 向けにポストトレーニングできるとされている。

実行要件はLinux、NVIDIA GPU、Docker、NVIDIA Container Toolkit。公開されたvLLM-Omniの構成はGB200を1台使って検証されたが、これは最小メモリ要件ではないと明記されている。

閉ループの対話には、シミュレーションランタイムとWSMレンダラが別途必要になる。NVIDIA自身も、ポリシー学習や評価をどこまで忠実に支えられるかを測定し、限界を理解し、不足する部分を改善することが今後の課題だと述べている。