NVIDIA、低遅延の多言語TTS「Magpie TTS」を公開 12言語対応でオープンウェイト

発表の概要

NVIDIAは、多言語テキスト音声合成（TTS）モデル「Magpie TTS Multilingual」の最新版を公開した。このモデルは364Mパラメータで、英語、スペイン語、フランス語、ドイツ語、イタリア語、ベトナム語、北京語、ヒンディー語、日本語に加え、今回から現代標準アラビア語、韓国語、ブラジルポルトガル語が追加され、合計12言語に対応する。

モデルの重みは「NVIDIA Open Model License」のもとでHugging Faceに公開されている。また、本番環境向けの推論マイクロサービス「NVIDIA NIM」としても提供され、企業は自社のGPUインフラ上で同じモデルを運用できる。

低遅延を実現する技術

Magpie TTSでは、推論時間を短縮するために2つのアーキテクチャ上の改善が導入されている。1つ目の「フレームスタッキング」は、デコーダーの各ステップで2つの音声フレームを同時に予測する手法で、デコーダーの反復回数を半分に減らす。

2つ目の「ローカルトランスフォーマー」は、フレームスタッキングによって生じる同時生成コードブックトークン間の依存関係をモデル化し、音質の低下を補う。これにより、生成速度と音声品質の両方を高い水準で維持できる。この技術はICASSP 2026で発表された論文で詳述されている。

体感レイテンシの数字

音声エージェントでは、ユーザーが最初の音声を聞くまでの「Time to First Audio（TTFA）」が重要な指標となる。Magpie TTSをNIM経由でB200 GPU上で実行した場合、単一ストリームでのTTFAは32msと報告されている。これは、会話に必要なサブ200msのエンドツーエンドレイテンシの予算のうち、TTSがほとんど消費しないことを意味する。

同時接続数が64ストリームに増えた場合でも、TTFAは239msを維持し、処理スループットはリアルタイムの320倍とされている。NVIDIA GPU上では単一ストリームで32〜79msのTTFAを達成する。これらの数値はNIMの最適化されたサーバーで計測されたものであり、Hugging Face上のオープンウェイトチェックポイントをそのまま使った場合の性能は異なる可能性がある。

品質改善と既存言語への影響

今回のリリースでは、言語追加だけでなく、既存言語の音声品質も改善されている。前回リリースと比較して、複数の言語で文字誤り率（CER）が低下し、話者類似度（SSIM）が向上した。特にフランス語とスペイン語で改善が顕著であるとされる。

新規追加されたアラビア語はCER 1.62%、韓国語は2.69%、ブラジルポルトガル語は2.91%で、今後の品質改善のためのベースラインが確立された。また、ヒンディー語と日本語では、IPAに基づく書記素から音素への変換とカスタム発音辞書により、コードスイッチング（言語の切り替え）対応が拡張されている。

注意点と今後の課題

Magpie TTSはオープンウェイトでありながら、本番運用に必要なカスタマイズとデプロイの柔軟性を提供する。ただし、公開されているレイテンシ性能はNIMコンテナを使った場合の値であり、オープンウェイトのチェックポイントを独自の推論スタックで動かす場合は、同等の性能を出すための最適化が必要になる。

また、このモデルはTTS単体のリリースであり、完全な音声エージェントを構築するには、自動音声認識（ASR）やLLMなど他のコンポーネントが必要だ。NVIDIAはNemotron Voice Agentの開発者向けサンプルを提供しており、これらを組み合わせたリファレンス実装を利用できる。