手術ロボット向けリアルタイム生成シミュレータ「Cosmos-H-Dreams」登場

発表の概要

NVIDIAは2026年7月27日、手術ロボット向けのリアルタイム生成シミュレータ「Cosmos-H-Dreams」を発表した。これは、初期画像とロボットの動作系列から今後の手術映像を生成する「アクション条件付き世界モデル」を、実時間で動作するようにしたものだ。もとになったCosmos-H-Surgical-Simulatorでは約10fpsだった推論速度を、単一のNVIDIA RTX PRO 6000 GPUで約160fpsまで高めたとしている。

同モデルはda Vinci Research Kit（dVRK）の卓上縫合タスクに特化しており、人間がWebRTCやWebXR経由で操作できるほか、学習済みのポリシーと直接つなぐこともできる。また、CMR SurgicalとCambridge Consultantsとの協業により、Versius手術コンソール上でのリアルタイム操作も実証された。

技術的な新しさ

実時間生成を可能にした背景には、大規模モデルから小さな学生モデルへの蒸留がある。Cosmos-H-Dreamsは、教師モデルのノイズ除去軌跡を模倣する「因果ウォームアップ」と、学生モデル自身が生成したコンテキストで学習を続ける「自己強制蒸留」を組み合わせる。これにより、自己生成した履歴に依存する推論時の誤差蓄積を軽減した。

さらに、推論エンジン「FlashDreams」がストリーミングKVキャッシュやCUDA Graph、モデルコンパイルなどの最適化を提供する。学生モデルは1潜在フレームあたり最小2ステップの拡散処理で済むため、対話的な操作性を実現している。

既存技術との比較

従来の手術シミュレータは物理ベースのモデルが中心で、物体や相互作用の作り込みに多大な労力が必要だった。Cosmos-H-Dreamsは実際の手術映像とロボットの運動データから視覚ダイナミクスを直接学習するため、より現実的な映像を生成できる可能性がある。また、コンピュータグラフィックスと異なり、マニピュレータの特性などもデータに含まれる。

生成モデルを実時間で動作させる試みはほかの分野でも進んでいるが、手術ロボットの動作によって映像が変化する「アクション条件付き」の生成をリアルタイムで行う点は新しい。NVIDIAは今後、視覚品質だけでなく、アクションへの応答の正確さや長時間の一貫性を測るベンチマークの整備を計画している。

現在の課題と注意点

現時点のCosmos-H-Dreamsは研究開発用のプラットフォームであり、診断システムや術中画像の代替、物理ロボットの制御を目的としていない。また、dVRKの卓上縫合に特化しているため、ほかの手術環境やタスクに適用するには、追加のデータでモデルを微調整する必要がある。

シミュレーションの結果が実際のロボット動作に転移するかどうかは、今後の評価次第だ。NVIDIAは、ツール先端の到達精度やグリッパー動作の忠実性、長時間ロールアウトでのドリフトなどのベンチマークを提案しており、こうした検証が進めば、手術ロボットの開発サイクルが大きく変わる可能性がある。