Papers with Codeの検索を支えるHFサービスとハイブリッド検索の設計

何が起きたか

Hugging Faceが運営するPapers with Codeでは、論文を正確に検索できる仕組みが欠かせない。検索対象はタイトルやarXiv IDの完全一致だけにとどまらず、「small language models for code generation」のような概念的なクエリや、「the original BERT paper」のようなナビゲーション意図も理解する必要がある。

この課題に対して、Hugging Faceは自社の各サービスを組み合わせたハイブリッド検索システムを構築し、その設計をブログで公開した。現在、同システムはarXivとDaily Papersから取得した110,000以上の論文の埋め込みを保持している。

埋め込み契約の設計

埋め込みパイプラインは、モデルのリビジョン変更やプロンプトの混同、ベクトルの次元不一致など、さまざまな暗黙の失敗が起きやすい。そこでPapers with Codeでは、埋め込み形式をバージョン付きAPIとして定義し、正規化したタイトルと要約を「\n\n」で連結したものを入力としている。

生成時には、モデルリポジトリと正確なリビジョン、出力次元、入力形式のバージョン、クエリか文書か、正規化方法、コンテンツハッシュを記録する。本番環境ではQwen/Qwen3-Embedding-0.6Bを固定リビジョンで使い、256次元のL2正規化ベクトルを生成している。Qwen3のMatryoshka表現学習により、動的な埋め込みサイズを指定できるのが特徴だ。

バッチ処理とストレージの役割

論文全体の埋め込み生成は、短時間だけGPUを必要とするバッチワークロードだ。Hugging Face Jobsは、コマンドとハードウェア、Dockerイメージを指定するだけで実行でき、この用途に適している。実際のジョブはL4 GPUを搭載するl4x1フレーバーで動き、バケットをマウントして入力データを読み取り、埋め込みをParquet形式で出力する。

ストレージにはHugging Face Storage Bucketsを使用し、run IDごとに不変なディレクトリを作る。入力・出力のマニフェストとチェックサムを管理することで、再現性、安全なリトライ、低コストな実験、段階的なロールアウト、簡単なロールバックが可能になる。5,000論文のパイロットでは、L4 GPUで1秒あたり約75論文を1024次元で処理できたという。

オンライン検索の実装

ユーザーのクエリを埋め込む段階では、Inference Endpointsが使われる。固定したモデルを認証付きエンドポイントとしてデプロイし、クエリプロンプトを使って256次元の正規化ベクトルを返す。APIはpgvector上でコサイン距離による近傍検索を行い、HNSWインデックスで高速化している。

パイロットでは、256次元のQwenインデックスが完全一致検索に対してRecall@20で0.9955を達成し、HNSWの検索遅延はp50で1.31ms、p95で2.21msだった。ストレージ使用量は1024次元版の約27%に抑えられた。エンドポイントはレプリカ最大1つでアイドル時にはスケールアウトできるが、コールドスタートが発生するため、タイムアウトやフォールバックをアプリケーション設計に組み込んでいる。

ハイブリッド検索の融合

検索クエリごとに、全文検索とベクトル検索のそれぞれから最大50件の候補を取得し、重み付きRRFでランキングを融合する。RRFはスコアではなく順位を組み合わせるため、異なる尺度を持つ2つの検索結果を頑健に統合できる。現在は両ブランチに等しい重みとk=60を使っている。

この方式により、概念的なクエリにはベクトル検索の再現率が効き、正確な用語や識別子には全文検索の精度が生きる。また、完全一致タイトルやarXiv IDを最上位に保つ、タイプミスへの耐性、あいまいな検索に無理に結果を返さないといった動作も実装されている。