NVIDIA、文字起こし・話者分離・翻訳を1モデルに統合したNemotron 3.5を公開

発表されたモデルの概要

NVIDIAが公開したNemotron 3.5 Transcribeは、録音済み音声をテキストに変換するオープンウェイトの音声モデルである。単なる文字起こしにとどまらず、話者ダイアライゼーション(誰がいつ話したかの識別)、翻訳、音声に対する質問応答を同じチェックポイントで処理する。対応範囲は40言語の文字起こし、英語との相互翻訳31言語、話者識別13言語で、最長1時間の録音と最大8話者を扱えると説明されている。

出力は自然言語のプロンプトで指示できる。「この録音を文字起こしして各話者にラベルを付けて」「この音声を英語に翻訳して」「この会議で決まったことは何か」といった指示を切り替えるだけで、同じ音声から異なる成果物を得られる。医療分野の例として、HbA1cやmetforminといった用語候補を与え、音声に裏付けがある場合のみ使うよう指示するプロンプトが示されている。

モデルカードには推奨プリセット、プロンプトガイド、タスク別の言語対応表が用意され、単語レベルのタイムスタンプにも対応する。記事では、リアルタイム音声・映像基盤を提供するAgoraが、録画した授業の文字起こしを再生画面と並べて表示するデモに単語レベルタイムスタンプを使った事例が紹介されている。

プロンプトで出力を切り替える仕組み

技術的な特徴は、音声認識と言語モデルを分離せず、1つのモデルで指示に応じた生成を行う点にある。音声エンコーダに、MambaとTransformerを組み合わせたMoE(専門家の集まりを入力ごとに使い分ける構造)の言語モデルを接続しており、パラメータは合計30Bだがトークンごとに活性化するのは約4Bにとどまる。このため推論コストを抑えつつ精度を維持しやすい設計とみられる。

話者識別については、Sortformerによる話者の手がかりを音響特徴と一緒に言語モデルへ渡す。生成の途中で各発話に話者タグを付けられるため、後段の処理だけで話者を割り当てる方式とは異なる。重なり合う発話の多い古いコメディ映画の一場面を題材に、字幕と話者ラベルを付けるデモも示されている。

提供方法としては、公開済みのチェックポイントをvLLMで本日から配信できる。量子化版と、ローカル展開向けのNeMo-Speech.cppは近日公開とされ、RTX Spark、DGX Spark、Jetson AGX Thorといった手元のGPU、あるいはBlackwell世代のデータセンターGPUで動かす道筋が示されている。

ベンチマークでの位置づけ

Hugging Face Open ASR Leaderboardでは、英語でオープンウェイトモデル中1位となる平均WER 5.33%を記録した。多言語は7言語平均で4.62%、長尺音声は平均10.98%で、いずれもモデルカード内の比較でオープンウェイトモデル中最も低い数値とされている。

Artificial Analysisの音声認識リーダーボードでは、独自指標のAA-WERで2.8%を記録し、オープンウェイトモデル中最上位に同率で並んだ。記事は、同率の相手が24Bの活性パラメータを持つ一方、本モデルは約4Bである点を強調している。音声エージェント向けの評価セットAA-AgentTalkでは1.8%のWERで、次点のオープンウェイトモデルは2.3%だった。

話者識別では、David AIの21言語ダイアライゼーション部門で14システム中最低の誤り率18.26%を記録し、NVIDIAの専用モデルNemotron 3 Diarization(18.38%)をわずかに上回った。VoiceArenaの英語フルセッション比較でも14システム中1位で、cpWERは32.4%、単語の欠落は参照語の8.32%と、中央値の約31%を大きく下回っている。

Granary v2とファインチューニング

同時公開されたGranary v2は、Nemotron 3.5 Transcribeの学習に使われた音声データを整えるパイプラインで、NVIDIA NeMo Curatorで構築されている。公開マニフェストは48言語・16のソースコーパスにわたり46万3,062時間を収録し、Granary v1の25言語から拡大した。記事は、この数字がデータセット公開の説明であり、モデルの学習全体の混合比率やサンプリング重みを示すものではないと注記している。

パイプラインは音声の前処理、ASR、タスクラベルの生成、高品質データの選別という4段階で構成される。1つの録音に対して3種類の表記(逐語的や整形済みなど)を生成し、これはプロンプトで要求できる形式と対応する。加えて短い音声キャプション、借用語の復元、音声に基づくQ&Aペア、ASR用のバイアス用語、自動品質スコア付きの翻訳も生成する。

適応の効果は医療分野の事例で示されている。インドの医師・医学生の録音3,619クリップからなるEka Careの公開ベンチマークで、言語と文字体系を明示したプロンプトによりWERは30.8%から23.8%に下がり、代表的な音声と正解表記を組にしたファインチューニングで11.8%まで低下した。記事では素のモデルと比べて約62%の誤り削減と説明され、別途、未知話者でのWERが最良プロンプト比で45.8%相対改善したとも述べられている。

現時点の制約と注意点

記事が明記している制約は、本モデルが録音済み音声向けであり、ライブストリーミングには対応しないという点である。リアルタイムの会議や通話にそのまま差し込む用途は想定されておらず、処理は録音後に行う形になる。また音声への質問応答は英語で学習されており、言語対応はタスクごとに異なる。

精度面では、固有名詞、話者の切り替わり、質問応答の内容を録音と突き合わせて確認すべきだと記事は注意を促している。量子化版とNeMo-Speech.cppは「近日」とされ、現時点で手元環境での実行手順は公開済みの範囲に限られる。Granary v2の音声データはマニフェストに含まれず、各コーパスの元ライセンスに従って別途ダウンロードする必要がある。