SLMの語彙を専用化、Qwen3-4Bの採点システムで推論コスト77%削減

何が発表されたのか

Dharma-AIがHugging Faceのブログで、近く公開予定のVocabX論文の結果の一部を先行して紹介したものです。対象は同社が本番運用しているポルトガル語小論文の自動採点システムで、Qwen3-4Bをベースに構築されています。このシステムは小論文、プロンプト、参照テキストを受け取り、評価観点(competency)ごとに評点とコメントを含むJSONを返します。

ベースモデル、学習データ、学習レシピを変えず、トークナイザ(語彙)だけを差し替えたところ、平均の応答トークン数は350から101に減り、実測の推論コストは77.0%下がりました。品質指標であるベンチスコアは0.703から0.810に上がったと報告されています。ただし論文は査読中で、掲載している数値は公開までに変わる可能性があると筆者らは断っています。

語彙がコストになる理由

汎用モデルのトークナイザは多言語・多分野のテキストで学習されており、単一ドメイン向けに微調整したモデルにもそのまま引き継がれます。ここで2種類の無駄が生じます。1つは断片化で、そのドメインで最も繰り返される文字列(採点ならJSONの外枠や観点名、契約書なら定型条項)が多くのトークンに分割されます。もう1つは過剰で、ドメインでは使わない語彙エントリの確率も生成のたびに計算されます。採点システムの語彙は151,669エントリありました。

生成トークンのコストが読み取りトークンより高いのは、推論が2段階に分かれるためです。入力全体をまとめて処理するプリフィルは計算律速で、GPUメモリから読んだ重みを入力トークン間で使い回せます。一方、1トークンずつ生成するデコードは各ステップで重みを読み直す必要があり、メモリ帯域律速になります。計測したケースでは生成トークン1個のコストは読み取りトークン1個の7.4倍でしたが、この比率はハードウェアやバッチサイズ、文脈長などで変わるとされています。

語彙表そのものもコストを持ちます。最終層のLMヘッドは語彙エントリごとに1行のパラメータを持ち、Qwen3-4B規模のモデルではこの行列がパラメータ全体のほぼ10%を占めます。LMヘッドは生成トークンごとに行列全体を読み出すため、使わないエントリにも頻出エントリと同じコストがかかります。VocabXでは出力層の行数を約152,000から約65,000に減らしています。

VocabXの選び方

既存の語彙適応手法には、fast vocabulary transfer(FVT)、multi-word tokenization(MWT)、Liquid AIのin-place tokenizer expansion(in-place BPE)などがあります。筆者らはこれらに2つの限界があると指摘します。1つはトークンを頻度で選ぶこと、もう1つはサブワード層かマルチワード層のどちらか一方しか扱わないことです。

VocabXはまず評価基準を変えます。候補が削減するトークン数ではなく、削減するコストで測るのです。削除されるトークン1個に、それが現れるフィールド(システムプロンプト、ユーザーメッセージ、モデル応答)の単価を掛けます。採点システムでは応答側のトークン1個が入力側の7.4倍の価値を持つとして語彙が設計されました。そのうえで、サブワードの分割の作り直しと、繰り返し現れるスパンを1トークンにするマクロトークン化を同じ基準で同時に進めます。スパンの探索には長い単語、行全体、言い回し、文全体、JSONやタグのような句読点を含む構造という5種類の探索器(miner)を使い、8コーパスの平均では構造系が最も寄与し、コードではそれだけで17.5ポイントを稼いだとされています。

もう1つの課題は、サンプルに現れない候補の評価です。5万文書に37回現れる表現が400文書のサンプルに入る確率は約26%で、契約書コーパスでは候補の16.6%しかサンプルに現れません。VocabXはコーパス全体での削減量を正確に数え、既に選んだトークンで未カバーの部分だけを統計的に推定します。これにより契約書コーパスの削減率は44.7%から52.8%に上がりました。5種類すべてを欠くと、採点システムでのトークン削減率は55.6ポイント落ちるとされます。

採点システムでの実測

効果を測るため、同じベースモデル、データ、レシピ、シードで、トークナイザだけが異なる7バージョンの採点システムが学習されました。すべて同じ500リクエストを、RTX 5090 GPUとvLLMの推論サーバー上で実行し、実測の実行時間からコストを算出しています。

途中で方針転換もありました。最初の語彙は、観点ごとの評点と周囲のJSONを1つのマクロトークンに融合した最もコンパクトな設計でしたが、ベンチスコアは0.689で本番版の0.703を下回りました。評点を独立したトークンにすると応答あたり2トークン増えるものの、スコアは0.810に上がり、コスト削減率も融合版の73.3%に対して77.0%と安くなりました。

ここから筆者らは一般則を導いています。圧縮するスパンが、モデルがまさに下すべき判断(評点)を含む場合、圧縮には品質コストが伴うというものです。目標は最安の語彙ではなく、重要なトークンを残したうえで最安の語彙だと述べています。

他ドメイン・他モデルへの適用

効果が事例固有か確かめるため、5つの公開ドメイン(契約書、医学論文、科学論文、ニュース、Pythonコード)と3つのモデルファミリー(Qwen3、Llama-3.1、Gemma-3)の15通りの組み合わせで、3つの参照手法と比較されました。採掘用とテスト用の文書、語彙の上限は全手法で共通としています。

VocabXは15通りすべてで最も強い参照手法より多く圧縮し、差は1.2〜9.3ポイントでした。推定推論コストでも15通りすべてで優位に立ち、平均の差はQwen3で10.2ポイント、Llama-3.1で7.5ポイント、Gemma-3で13.6ポイントです。契約書では語彙113,426エントリで62.6%のトークン削減となり、最良のin-place BPEの61.8%を上回りました。

注意点として、数値は査読中の論文の現時点版に基づきます。コスト削減率はハードウェア、バッチサイズ、文脈長で変わるため、そのまま自社環境の数字にはなりません。日本語での検証結果は示されていません。