- 端末内で動く約65MB・約75MBの小型TTS、最大5言語と100以上の声を内蔵
- Phonon 31mはApache 2.0で商用利用可、40mはCC BY-NCの非商用ライセンス
- 独・西の明瞭度で1位、CPUストリーミングの初回音声出力で首位と報告
端末内で動く小型TTS
GradiumはHugging Faceのブログで、端末内で動作する小型テキスト読み上げ（TTS）モデル「Phonon」の詳細を公開した。Phononはサーバーもネットワークも必要とせず、入力したテキストは端末の外に出ない設計だとしている。モデルサイズは約65MBと約75MBの2種類で、英語・フランス語・ドイツ語・スペイン語・ポルトガル語の5言語を話す。100種類以上の声を内蔵し、Gradium Studioで独自の声を作ることもできる。
音声合成モデルは一般に、小さくすると音質が落ち、高音質にすると端末に収まらないというトレードオフがある。Phononはこの両立を狙ったもので、電話番号や日付、コードのような読み上げが崩れやすい要素も扱えるとしている。動作環境はスマートフォン、ノートPC、シングルボードコンピュータ、ブラウザのタブで、記事執筆時点でブラウザ上でも試せるデモが用意されている。
Phononの発表は4月で、その後の6か月をパートナーや早期利用者とともに開発に充てたという。その過程でモデルの小型化、対応言語の追加、音声クローンとボイスデザインによるカスタムボイス対応を進めた。公開から2週間でダウンロードは20万回を超え、Hugging Face上でトレンドが続いているとしている。
Flow matchingで小型化
Phononは「Pocket TTS」の系譜に連なるモデルで、音声の生成にflow matching（フローマッチング）を用いる。これは他の多くのTTSシステムが使うモデリング手法とは異なるアプローチで、小さなモデルで高い品質を出すことにつながった一方、学習を難しくしたと説明されている。学習は当初数値的に不安定で、5言語すべてで品質を出すためにいくつかの工夫が必要だったという。
推論のために、Phonon専用の新しい推論フレームワーク「ptts」も用意された。CPU（Intel、Arm、WebAssembly）、GPU（CUDA、Vulkan、Metal、WebGPU）、NPU（Apple Core ML、Snapdragon）など10以上のバックエンドに対応し、多様なデバイスで最高の性能を引き出すことを狙う。
もう一つの入り口がHugging Face Transformersへの統合で、v5.21からGradiumPhononTTSForConditionalGenerationとして利用できる。こちらはGPUスループットを重視し、バッチ生成やtorch.compileによる全グラフ最適化に対応する。モデルは音声をlatentとして自己回帰的に生成し、音声をlatentに変換するコーデックが言語モデルでのトークナイザの役割を果たす。端末上の単一ストリーム実行はpttsが担うという役割分担になっている。
公開ベンチマークでの順位
Hugging FaceのOpen TTS Leaderboardは、Hub上にある9,000以上のTTSモデルを横並びで比較できる新しい取り組みだ。23言語を対象に、明瞭度（出力の単語誤り率）、速度（逆リアルタイムファクタと初回音声出力までの時間）、自然さ（英語はUTMOS、韓国語はKOMOS）で評価する。固定音声と音声クローンの両方が対象で、クローンについては話者類似度も測る。
Gradiumの報告によれば、Phononは明瞭度でドイツ語とスペイン語の1位、評価対象となったすべての言語で上位3位に入った。100倍の規模のモデルと並んでの結果だとしている。速度では、CPUストリーミングの初回音声出力時間のベンチマークで首位に立ったという。
なお、これらの順位は開発元であるGradiumのブログで示されたものであり、リーダーボード自体も始まったばかりの新しいプロジェクトだと記事中で説明されている。順位は評価時点のもので、参加モデルが増えれば変わりうる。
ライセンスと未対応言語
ライセンスはモデルによって異なる。Phonon 31mは英語のみだがApache 2.0で、商用製品を含めて無料で使える。一方、5言語に対応するPhonon 40mはCC BY-NCで、非商用プロジェクトでは無料だが、商用利用はユーザー数に応じた料金体系になる。生成した音声の量ではなく利用者数が基準という点は、料金設計を考えるうえで押さえておきたい。
日本語は現時点の対応言語に含まれていない。記事では、メモリ予算が厳しければモデルをさらに小さくでき、韓国語・アラビア語・日本語が必要なら学習も可能で、製品固有の語彙へのファインチューニングもできると、設計パートナー向けの取り組みとして言及されている。ただし具体的な提供時期や条件は示されていない。
音声クローンは短い録音から作れるが、話者の同意を得ることが前提と明記されている。また、実際の製品に組み込んだときの音質や遅延は、公開されているデモとベンチマークだけでは判断しにくい。自社の原稿や話速で試すまでは、効果を断定しないほうがよさそうだ。
| 項目 | Phonon 31m | Phonon 40m |
|---|---|---|
| 対応言語 | 英語 | 英語・フランス語・ドイツ語・スペイン語・ポルトガル語 |
| ライセンス | Apache 2.0 | CC BY-NC |
| 商用利用 | 無料で利用可 | 利用者数に応じた料金 |
| パラメータ数 | 30,788,354 | 原文に記載なし |
On intelligibility, Phonon ranks first in German and Spanish, and in the top three in every language we evaluated, next to models up to 100 times its size.
明瞭度では、Phononはドイツ語とスペイン語で1位、評価したすべての言語で上位3位に入りました。最大100倍の規模のモデルと並んでの結果です。
今後の見通し
Gradiumは設計パートナーとともにカスタムモデルの学習を進めるとしている。メモリ予算に応じた小型化や、韓国語・アラビア語・日本語への対応、製品固有語彙へのファインチューニングが選択肢として挙げられているが、提供時期や料金は明らかにされていない。日本語対応の有無と、商用利用時のユーザー数ベースの料金体系の具体額が示されれば、日本の製品に組み込めるかどうかを判断しやすくなる。Open TTS Leaderboardの評価も、参加モデルが増えることで相対的な位置づけが変わる可能性がある。
日本の開発者・IT企業にとっての意味
端末内で完結する音声合成は、日本の開発者にとって実装上の選択肢を増やす。クラウドへの往復がなくなるため、オフライン環境でも動作し、入力テキストが外部に出ないという説明は、個人情報を扱うアプリや組み込み機器で検討しやすい。Apache 2.0のPhonon 31mは英語限定だが、商用製品に無料で組み込めると明記されており、音声案内や読み上げ機能の試作に向く。モバイルやブラウザ、シングルボードコンピュータで動く点も、既存のWeb資産やエッジ機器と組み合わせやすい。一方、日本語は未対応で、対応には設計パートナー向けの個別学習が必要とみられる。日本語製品への適用は、対応条件が示されてから判断するのが現実的だろう。
気になる点
- 日本語には対応していますか？
- 現時点の対応言語は英語・フランス語・ドイツ語・スペイン語・ポルトガル語で、日本語は含まれていません。記事では設計パートナー向けに韓国語・アラビア語・日本語の学習が可能と言及されていますが、提供時期や条件は公表されていません。
- 商用製品に組み込む場合、費用はどうなりますか？
- 英語のみのPhonon 31mはApache 2.0で、商用製品を含めて無料で利用できます。5言語対応のPhonon 40mはCC BY-NCのため非商用では無料ですが、商用利用は生成した音声量ではなく利用者数に応じた料金体系と説明されています。具体的な金額は示されていません。
- 既存のTransformers環境から使えますか？
- Transformers v5.21以降にGradiumPhononTTSForConditionalGenerationとして組み込まれており、AutoProcessorとfrom_pretrainedで読み込めます。音声はチェックポイント同梱の音声トークナイザでlatentに変換され、プロセッサがテキストとまとめて入力を作ります。端末上の単一ストリーム実行にはpttsを使う形です。
用語解説
- TTS
- テキスト読み上げ。入力した文章を音声に変換する技術。
- フローマッチング
- ノイズから目的のデータへ徐々に変換していく生成モデルの学習手法。音声生成にも用いられる。
- 音声latent
- 音声を圧縮した中間表現。言語モデルのトークンに相当し、Phononはこれを自己回帰的に生成する。
- TTFA（初回音声出力までの時間）
- 入力から最初の音声が出るまでの待ち時間。体感の速さに直結する指標。
- UTMOS
- 音声の自然さを主観評価に近づけて推定する指標。リーダーボードでは英語の評価に使われる。
- ExecuTorch
- PyTorchモデルを端末側で実行するための仕組み。記事ではブラウザのGPU上で動かす事例が紹介されている。
出典
A Closer Look at Phonon TTS. Launching High-Quality On-Device Speech That Tops the Benchmarks.
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する