Sentence Transformers v6.0がマルチベクター埋め込みモデルに対応

マルチベクターとは

従来の埋め込みモデルは、テキスト全体を1本の固定長ベクトルに圧縮する。このため、文中の細かい情報が平均化されて失われることがある。マルチベクターモデルは、トークンごとにベクトルを保持し、クエリと文書の照合を後段で行う「後期相互作用」という仕組みを採用している。これにより、語彙の一致や言い換えなど、より細かな関連性を捉えられる。

Hugging Faceのブログで、マルチベクター埋め込みモデルがSentence Transformers v6.0で利用可能になったと発表された。従来はPyLateなどの別ライブラリが必要だったが、MultiVectorEncoderクラスを通じて、モデルの読み込みからエンコード、スコアリングまでを統一的に扱えるようになった。

MaxSimと後期相互作用

マルチベクターモデルのスコアリングにはMaxSim演算を使う。クエリの各トークンについて、文書の中から最も類似度の高いトークンを選び、その最大値をクエリ全体で合計する。トークンベクトルはL2正規化されているため、各類似度はコサイン類似度となり、スコアはクエリのトークン数に依存する。

この方式は、クロスエンコーダーとバイエンコーダーの中間に位置する。クロスエンコーダーはクエリと文書を同時にモデルに入れるため精度は高いが、文書を事前にインデックス化できない。バイエンコーダーは文書ごとに1本のベクトルを作るため高速だが、情報が圧縮される。後期相互作用は文書を独立にエンコードできるためオフライン処理が可能で、かつトークン単位の照合で精度も維持する。

品質向上とインデックス増大

マルチベクターモデルの利点は、複数の要件を含むクエリや、特定の固有名詞が重要になるケースで検索品質が向上することだ。例えば「緑のソファで木製の脚、丸いクッション」というクエリでは、各要件がそれぞれのトークンと照合される。また、学習データと分布が異なるドメインでも、圧縮による情報損失が少ないため堅牢だとされる。

一方で、トークンごとにベクトルを保持するためインデックスサイズが大きくなる。原文の例では、Natural Questionsの4,874パッセージをlightonai/LateOnでエンコードすると約60万本のトークンベクトルが生成され、1パッセージあたり約62KiBになる。ただし、PLAIDのような圧縮方式を使えば、同じデータを92MBで保存でき、4096次元のdenseモデル（Qwen3-Embedding-8B）の約80MBと同等の水準に収まる。

利用方法

利用方法は非常に簡単で、pip install -U sentence-transformers を実行し、MultiVectorEncoderクラスにモデル名を指定するだけだ。Hugging Face Hubで「multi-vector」と「sentence-transformers」のタグが付いたモデルが対象になる。PyLateやStanford-NLPのColBERTチェックポイントも、アーキテクチャ情報から自動的に読み込まれる。

視覚的文書検索にはColPali系のモデルを使う。この場合、ページ画像を直接エンコードし、テキストクエリと照合できるため、OCRの工程を省ける。現在は読み込みに必要な設定が未完了のモデルもあるが、対応作業は進んでいるという。また、推論を高速化する手段として、トークンを間引く「Token Pooling」や、インデックスを作らない「Retrieve and Rerank」といった手法も紹介されている。

現状と注意点

モデルにはドキュメント長の上限があり、それを超えた部分はインデックスに含まれない。例えば、LateOnでは上限が300トークンで、662トークンのパッセージを渡すと273トークンしか残らない。上限を超える長い文書を扱う場合は、encode_documentのオプションでmax_lengthを調整できるが、モデルが学習した長さを超えるため品質に影響が出る可能性がある。

Sentence Transformers v6.0への移行では、transformers v5.x、torch 2.2+、huggingface-hub v1.xなどのバージョン要件に注意が必要だ。既存のコードをアップグレードする際は、マイグレーションガイドを確認することが推奨される。また、各チェックポイントは設定が異なるため、print(model)で内容を確認するとよい。