RunwayがGWM Worlds 2を公開、WorldPromptで生成世界を操作

発表された内容

Runwayは今月、GWM Worlds 2を研究プレビューとして公開しました。これは高精細な映像と音声の生成を、リアルタイムの対話型シミュレーションに変えるものだと説明されています。同社はこのモデルを「自己回帰拡散(autoregressive diffusion)モデル」と呼んでおり、自己回帰という言葉は時間方向に少しずつ生成していく方式を指します。クリップ全体を一度に出すのではなく、見ている間に次のフレームを作り続ける形です。

注目されているのが新機能のWorldPromptです。生成したい世界と、その中で起きる行動を指定するための入力フォーマットとして提案されています。シミュレーション環境の一部を固定でき、最初のフレームも固定できます。さらにタイムスタンプ付きのイベント列を作ることができ、その行動はリアルタイムに指示することも可能だとされています。

本記事の内容は、RunwayのCTOであるKamil Sindi氏と、生成ビデオおよびマルチモーダルAI担当のPrincipal Research Scientist、Robin Kahlow氏への取材に基づいています。共同創業者で共同CEOのAnastasis Germanidis氏のコメントも、swyx氏とVibhu氏によるポッドキャストでの発言として引用されています。

リアルタイム化の仕組み

GWM Worlds 2は、720pの映像を24fps、音声を48,000Hzで連続的にストリーミングする形でリアルタイムの対話型世界を提供します。Kahlow氏は課題を二つ挙げています。一つはモデルにクリップ全体を一度に生成させず、見ている最中にフレーム単位で生成させることです。もう一つは生成そのものを高速化し、リアルタイムで再生できるようにすることです。

実現の手順は段階的です。まず基盤となる音声・映像生成モデルをWorldPrompt形式にファインチューニングし、その形式に従えるようにします。次に自己回帰的に生成するようポストトレーニングし、最後に蒸留(distillation)によってリアルタイム化します。Germanidis氏によれば、動画全体を一度に生成する双方向拡散から出発し、それを自己回帰的にして1フレームまたは数フレームずつ生成できるようにしたといいます。

蒸留には二つの方向があると説明されています。大きいモデルを小さいモデルに蒸留する方法と、拡散のステップ数を減らす方法です。一般的な例として、50程度あったノイズ除去ステップを4まで減らすことが挙げられており、品質は一部落ちるものの、同等の結果が得られる可能性もあるとされています。

競合との位置づけ

Runwayは2月に3億1500万ドルを調達し、企業価値は53億ドルと報じられています。最初のGWM Worldsは昨年12月に公開されました。同じ領域にはGoogle DeepMindのGenie 3、Odyssey-2 Pro、World LabsのRTFM(Real-Time Frame Model)といったプロジェクトがあります。Genie 3はGWM Worlds 2と同じ720p・24fpsで生成するとされています。

リアルタイムの映像と音声生成は計算負荷と遅延の要求が大きく、いずれのプロジェクトも制約を抱えています。GoogleはGenie 3について「現時点では長時間ではなく、数分の連続的なインタラクションをサポートする」と述べていると記事は伝えています。こうした中で、WorldPromptはRunwayを競合と区別する要素になると位置づけられています。

Kahlow氏はWorldPromptを、キャラクターやカメラ、環境を制御するレイヤーだと説明します。コンピュータゲームに近い考え方で、たとえばNPC(ノンプレイヤーキャラクター)が近づいて話しかけてくるような挙動も、同じモデルで詳細に制御できると述べています。

未解決の課題

WorldPromptはあくまでプロンプトの仕組みであり、プログラミング言語ではありません。MinecraftやRobloxのような仮想世界ゲームと違い、GWM Worlds 2はスクリプト機能や状態を制御する機能を提供していません。ただしSindi氏は、映像と音声が同期したプロンプト可能な世界を、さまざまな領域や環境でオンデマンドに作れるとし、遠い未来の仮説ではないと述べています。

指示への追従性はまだ不完全です。Kahlow氏は研究プレビューであるため完璧ではなく欠陥もあるとし、行動の難易度に依存すると説明しています。その上で、移動についてはかなり信頼できる形で動作すると述べています。Sindi氏は、学習量の増加とデータ・モデルのスケーリングによって追従性が良くなっていると補足しています。

自己回帰モデル最大の課題は誤差蓄積だとGermanidis氏は指摘します。生成したフレームをモデルに戻して次のフレームを作るため、小さな誤差が時間とともに積み上がるからです。加えてSindi氏は、無限に生成し続ける場合にどのコンテキストを保持し何を捨てるかという最適化が必要で、GPUメモリを膨らませない工夫が要ると述べています。長期記憶も完全ではなく、Kahlow氏は未解決の研究課題だとしています。

因果関係の正しさも課題です。Germanidis氏はサッカーの例を挙げ、オンライン動画の学習データには成功したゴールが失敗したシュートより多く含まれるため、前者をより説得力を持って描画する可能性があると説明します。選んだ行動と選ばなかった行動で同じように現実的な結果を生成する反事実生成が、動画モデルと世界モデルの大きな隔たりだという指摘です。Sindi氏は、複数のプロンプトやキャラクター、シーンが絡むほど、何が因果的だったかを評価するのは難しくなると述べています。Runwayは自動検証テストを用意していますが、研究プレビューであるため自分で試すことも勧められています。

ゲーム以外の用途

ゲームは明らかな用途ですが、それだけではありません。Kahlow氏はロボティクスを挙げ、ロボットがどう動くかをシミュレーション環境で試せることを指摘しています。もう一つ興味深いのは、エージェントを大規模にテストする用途です。適切なモデルがあれば、数千のシミュレーション環境を用意するハードルははるかに下がると述べています。

ただしエージェントが世界の変化を知る手段は限定されています。Kahlow氏によれば、ここに構造化された状態はなく、実世界でカメラから得られるのと同じ映像と音声を観測するだけです。Sindi氏は、GWM Worldsがエージェント向けの合成データ生成にも使えると述べています。

Germanidis氏は、世界モデルと推論モデルを組み合わせる可能性にも触れています。シーンの計画に推論を使い、その結果を実際にピクセルを生成する拡散ヘッドに渡すという構想です。現時点では研究プレビューであり、どこまで実用に耐えるかは今後の検証にかかっています。