Meta、米国最高性能をうたうMoE「Muse Spark Open」公開

何が公開されたのか

Metaが「Muse Spark Open」を公開したと伝えられている。オープンウェイトのマルチモーダルなMixture-of-Experts(MoE)モデルで、同社のMuseシリーズのフルサイズ版にあたる。Hugging Faceのブログ記事では、これまでで最も高性能な米国のオープンウェイトモデルだと位置づけられている。

Muse Spark Openはエージェント的コーディング向けに訓練されている。コードベースを読み、コードを書き、デバッグし、ツールを呼び出すといった作業を想定する。加えて画像・音声・動画を入力でき、スクリーンショットを読んだり、音声メモを聞いたり、画面録画を見たりしながら作業できるとしている。

公開されているチェックポイントは「Muse-Spark-Open-816B-A42B」と「Muse-Spark-Open-816B-A42B-NVFP4」の2種類。8月に公開されたMuse Glimmerは同じシリーズの小型denseモデルで、ローカル実行に向く。両モデルはトークナイザと語彙を共通にしており、入力埋め込みと出力層はそれぞれ約1.66Bパラメータの別々の行列で構成される。

MoEの仕組み

言語モデル部分は62層、隠れ次元8192。各層に128のクエリヘッドと16のキー・バリューヘッドを持つgrouped-query attentionを採用し、各ヘッドは64次元となる。注意ブロックには出力ゲートと出力正規化層があり、クエリとキーにも正規化(QK-norm)を適用する。各ブロックは入力を出力と、単純な加算ではなく学習済みの残差ゲートで結合する。

Muse Glimmerが各層に1つのdenseフィードフォワードネットワークを置くのに対し、Muse Spark OpenはこれをMoEブロックに置き換える。各MoEブロックは256のエキスパートを持ち、ルーターがトークンごとに8個を選ぶ。各エキスパートは8192から4096へ射影して8192に戻し、独自の正規化を施す。エキスパートが総パラメータの約97%を占めるという。

トークンごとに8エキスパートだけを動かすため、計算量は約42Bパラメータ相当になる。一方で256エキスパートすべてをメモリに保持する必要があり、配備には816Bパラメータ分のメモリを要する。つまりメモリは816B、実行速度は42Bという設計だと説明されている。BF16チェックポイントはsafetensors形式で約1.5TB、NVFP4チェックポイントは4ビット精度でNVIDIA Blackwell GPU向けとなる。

マルチモーダル入力

画像と動画フレームは知覚エンコーダでトークンに変換される。エンコーダは1.8Bパラメータ、50層、隠れ次元1536、16注意ヘッドで、画像を14×14パッチに分割し4096次元の特徴を生成する。位置情報は学習済み絶対埋め込みと2D RoPEで与え、各層のフィードフォワードはLayerNormとGELUを使う。4層ごとと最終層がfull attention、その他はsparse attentionという構成で、Muse Glimmer 30Bも同じアーキテクチャのエンコーダを使う。

音声は音声エンコーダで受け付ける。音声トークナイザがトークン化し、chat templateでは<|audio|>トークンで位置を示す。80ミリ秒ごとに1トークンを出力するため毎秒12.5トークン、10秒の音声なら125トークンになる。エンコーダは畳み込みピラミッド構造で、パッチサイズ[16, 6, 5, 4]の各段に、サイズ7・ストライド1の1次元カーネルによる畳み込みブロックを2つ持つ。

コンテキストウィンドウは推論時に100万トークンで、設定ではmax_position_embeddingsに1,048,576を指定する。テキストと同じウィンドウに画像・動画・音声のトークンを含める。grouped-query attentionによりKVキャッシュを抑え、トークンあたり126,976値、BF16で約250KB、100万トークンで約266GBになる。

推論の実行方法

transformersでの実装が用意されている。マルチモーダル入力からのテキスト生成にはMuseSparkForConditionalGeneration、会話の準備にはMuseSparkProcessorを使う。processorはトークナイザ、画像・動画processor、音声特徴抽出器、chat templateをまとめる役割を持つ。並列設定はDistributedConfigで行い、tp_sizeはdense層を分割するデバイス数、ep_sizeはエキスパートを分散するデバイス数を指す。

推論時にはreasoning effortをlow/medium/high/xhighから選べ、それぞれ16/64/256/512の整数に対応する。なおMuse Spark Openでは推論(reasoning)を完全にオフにはできないため、簡単なタスクでトークンを節約したいときはlowを使うよう案内されている。

配備の例として、transformersではBF16チェックポイントを8基のH200 GPUを4ノード使う構成でテンソル並列(TP=32)して動かし、NVFP4は単一のB200ノードで動かすと説明されている。ほかにllama.cpp、vLLM、SGLang向けのレシピも示されている。動画はデフォルトで2FPS、最大96フレームにサンプリングされ、音声付き動画を扱う場合はload_audio_from_videoを指定する。

不明点と注意点

このブログ記事にはベンチマークの数値や他モデルとの比較結果が示されていない。性能の実態は公開される評価結果を待つ必要がある。「これまでで最も高性能な米国のオープンウェイトモデル」という表現も、具体的な根拠は記事内では示されていない。

ライセンス条件や利用制限についても明記がない。商用利用の可否や再配布の条件は、モデルカードなど別途の情報を確認する必要がある。動画のフレーム数やサンプリングレートなど、入力の扱いにも制約がある点は留意したい。