NVIDIA、胆嚢摘出術の臨床映像で学習するリアルタイム手術シミュレータを公開

発表されたもの

NVIDIAはHugging Faceのブログで、手術向けの生成シミュレータ「Cosmos3-H-Dreams」を公開しました。臨床の胆嚢摘出術の映像とロボットのキネマティクス（関節角度や術具位置といった動きの情報）を学習し、術具の操作に応じて次の映像を生成します。同社は、臨床の胆嚢摘出術の記録で学習し、リアルタイムのキネマティクス制御に対応した生成シミュレータとしては初だとしています（自社の知る限り）。基盤はCosmos 3で、ストリーミング推論ライブラリのFlashDreamsによって、単一のNVIDIA RTX PRO 6000 GPU上で対話的に動作します。

前版のCosmos-H-Dreamsは、手術ロボット研究の基礎的な検証環境であるdVRKの卓上縫合を対象にしていました。今回の版は、CMR SurgicalのVersiusプラットフォームで臨床手技中に記録された映像とキネマティクスを学習データに用いている点が大きく異なります。ただし同社はこれを研究用のシミュレータと位置づけ、患者ケア向けに検証されたシステムではないと明言しています。

モデルと学習の仕組み

土台となるのは、Open-H-Embodimentで事前学習された160億パラメータのCosmos3-H-Embodied-Nanoです。これに対して、胆嚢摘出術の映像とキネマティクスを選別して双方向（bidirectional）のteacherモデルを特化させました。学習データは、左のCadiereグラスパーと右のモノポーラフックという2本の術具が画面内で実際に操作されている場面を選び、カメラの指令を制限することで術具駆動の相互作用に重点を置いています。

行動の次元数は28で、両腕のポーズとグリッパー、エネルギー制御、サムスティックの軸とボタンを含みます。学習には832×480の映像を用い、行動は10Hzで同期させています。この10Hzは学習時のサンプリングレートであり、実行時の生成スループットとは別物だと説明されています。

teacherはまず24フレーム先まで、次に72フレーム（10Hzで2.4秒と7.2秒）へと予測範囲を拡張して学習します。その後、蒸留によって双方向のteacherを因果的なstudentへ変換し、新しい行動が届くたびに短いブロック単位で映像を生成できるようにします。自分が生成した文脈で訓練するSelf-Forcingと学習済みのcriticにより、対話的なロールアウトで誤差が蓄積する問題の緩和を図っています。

リアルタイム性を支える要素

公開されるstudentは、ブロックあたり4回のノイズ除去ステップで生成するものと、2ステップのスケジュールで別途訓練したものの2種類です。2ステップ版は4ステップ版のサンプリング回数を減らしただけではなく、独立に訓練されたモデルだと明記されています。ノイズ除去の回数を減らすと推論は速くなる一方で視覚品質は下がるため、開発者は品質と推論コストのバランスを選べます。

長時間のロールアウトでは、モデルの注意履歴の管理も問題になります。Cosmos3-H-DreamsではFadeMemを改変したモジュールで、増え続けるkey/valueキャッシュを統合します。蒸留が「生成履歴からどう学ぶか」を扱うのに対し、キャッシュ統合は「その履歴をストリーミング中にどう保持するか」を扱う相補的な役割とされています。

臨床シーンで難しくなる理由

卓上の環境では、術具は比較的単純な背景の前で動きます。体内では、小さな術具の動きがシーン全体に影響します。組織が牽引で伸展し、反射が変わり、構造が遮蔽され、煙で視界が変わります。生成モデルはこれらに反応しつつ解剖構造と術具を保持する必要があり、小さな誤差が蓄積すると術具の形状や解剖構造が徐々に変化してしまうため、時間的な一貫性が重要になります。

見た目のリアリズムは検証の出発点であって、生体力学的な正確さの証明ではないと同社は述べています。翻訳・回転・グリッパーの指令が解剖学的に整合した結果を生む必要があり、指令を無視した見た目だけのロールアウトは対話環境として使えません。現時点では2本の術具に限定され、対象も胆嚢摘出術に特化しています。外科医による評価は今後の課題として挙げられています。

自前データへの適応

胆嚢摘出術向けの4ステップ版と2ステップ版のチェックポイントに加え、同期した映像と互換性のある行動表現があれば、他のデータセットやembodiment（ロボットの身体構成）にも適応できるとされています。teacherの微調整とSelf-Forcing蒸留の手順はステップバイステップのガイドとして公開され、データ準備、公開されているteacher訓練ツール、蒸留の各段階が説明されています。コントローラを統合する場合は、訓練時と同じ行動の規約と正規化を使う必要があります。