Blockが音声対話モデルDessaを発表、人間の会話のみで学習しローカル動作

Dessaとは何か

米決済大手のBlock（ジャック・ドーシー氏が率いる）が、Dessaという名称の音声AIモデルを発表しました。Blockは「人間の会話だけを使ってゼロから（from scratch）学習した」と説明しており、性能を示すために人間との会話例を複数公開しています。

Dessaのチームは、同モデルを「真のspeech-to-speechモデル」と位置づけ、「知っていることはすべて人間の音声から来ている」と述べています。テキストを介在させない点が設計上の特徴です。一方で記事は、公開された会話がときに気まずく、不気味に感じられる場面もあると伝えています。

音声をテキストにしない設計

一般的な音声AIは、利用者の発話をテキストに変換し、テキストとして処理したうえで音声を合成します。Dessaのチームはこの方式を音声の「無駄遣い」と表現し、発話を平坦なテキストにしてしまい、人間の間合いについてこられないと指摘しています。

チームは開発動機の説明の中で、文字を一度も見ずに話せるようになる赤ちゃんを引き合いに出しています。既存モデルを流用せず、音声データだけから言語を学べるかという問いを立てた形です。学習も推論も音声をベースにしている点が、一般的な音声アシスタントとの違いです。

DessaはMacBook Pro M4 Max「またはそれ以上」でローカルに動作すると説明されています。ただしモデルの規模や必要なメモリ量などの具体値は、記事には記載されていません。

公開された会話例

デモの一つは、音声で推測ゲームを遊ぶ会話です。やり取りはおおむね自然に進みますが、冒頭でモデルが相手を「ロナウド」という人物と誤認する場面があります。記事はこうした細部を、気まずさや不気味さの例として紹介しています。

Dessaのサイトには他の例も掲載されています。クリストファー・ノーラン監督作品の話から、ブライアン・シンガー監督のスーパーマン作品へと予想外に脱線する会話や、パリへのサプライズ旅行を伝えられたDessaが「涙声のような感謝」で応じた会話などです。OpenAIの音声モデル「GPT-Live-1」とDessaを会話させた例も公開され、記事はDessaのほうが自然に聞こえると評しています。

公開されているのはいずれもBlock側が選んだ短い会話例であり、モデル全体の性能を示すものではありません。第三者が体系的に評価した結果ではない点は、判断の際に留意が必要です。

動機と未公表の点

Dessaチームは開発理由として、好奇心（楽しさ）、人間とAIの相互理解、安全性の3つを挙げています。安全性については、AIが力と自立性を増す一方で声の感情にほとんど耳を貸しておらず、深刻な痛みを抱えた相手にも気づかず会話を続けてしまう点を問題視し、Dessaをその改善への一歩と位置づけています。

提供方法は、AI安全性研究者の小規模なグループに対する早期アクセスにとどまります。パラメータ数やベンチマーク結果、ライセンス、一般公開の時期、日本語を含む対応言語については、記事に記載がありません。