Liquid AI、CPUで高速な長文エンコーダ「LFM2.5-Encoders」公開

発表の概要

Liquid AIは、汎用エンコーダモデル「LFM2.5-Encoders」をHugging Faceで公開しました。モデルはパラメータ数2億3000万の「LFM2.5-Encoder-230M」と3億5000万の「LFM2.5-Encoder-350M」の2種類です。重みはオープンで、コミュニティで広く利用できるとみられます。検索向けに先月公開されたLFM2.5-Retrieversと同じファミリーに属しますが、汎用タスク向けに設計されています。

エンコーダは分類やトークン単位のタスク、検索など多様なタスクに微調整できるため、検索専用のモデルとは別に用意されたと説明されています。これにより、企業は自社のデータに合わせてカスタマイズしやすくなると見られます。

技術の特徴

LFM2.5-Encodersは、もともと因果的デコーダであるLFM2バックボーンを双方向エンコーダに変換して構築されています。具体的には、双方向アテンションマスク、対称パディングによる非因果的短い畳み込み、訓練時の30%のトークンのマスク化が施されています。この変換により、各トークンが前後両方の文脈を参照できるようになり、文全体の理解が必要なタスクに適した表現が得られます。

学習は2段階で行われており、まず大規模ウェブコーパスでコンテキスト長1,024トークンの短期コンテキストでの言語能力を獲得し、その後、コンテキスト長を8,192トークンに拡張して、事実・法律・多言語の能力を強化しています。長文を扱う実務用途を想定した設計と言えます。

性能評価

記事では、GLUE、SuperGLUE、多言語分類から抽出した17タスクで14モデルをフルファインチューニングして比較した結果が示されています。LFM2.5-Encoder-350Mは14モデル中4位で、上位3つはすべて大きなモデルであり、そのうちの1つは約10倍の大きさの3.5Bモデルだと報告されています。230MモデルはModernBERT-baseと全てのEuroBERTモデルを上回ったとされています。

CPU推論の速度では、LFM2.5-Encoder-230Mがすべてのシーケンス長で最速とされています。8,192トークンでのフォワードパスは約28秒で、ModernBERT-baseが1分半以上かかるのと比較して約3.7倍高速とのことです。GPUでも2,000トークン以上ではLFM2.5-Encodersがリードすると報告されています。

利用方法

紹介されているデモには、フリーテキストで定義したルーティング先にプロンプトを振り分けるゼロショットプロンプトルーティング、企業のポリシーにテキストが適合するかを検査するポリシーリンティング、スペルチェック、16言語で40種類の個人情報を検出するPII検出などがあります。すべてCPUのみのHugging Face Spaceで動作します。

モデルはtransformersライブラリから数行でロードでき、マスク予測や独自ヘッドを追加した微調整が可能です。高頻度で実行されるテキスト分類やルーティングなどのタスクでは、生成系LLMよりも小型で高速・低コストなエンコーダの利用が適していると述べられています。

注意点と課題

一方で、コミュニティからはCPUに関する具体的な仕様が不明である点や、trust_remote_codeが必須であるためONNXやOpenVINOなどの推論最適化パスがまだ用意されていない点が指摘されています。記事のベンチマークがどのようなCPUで測定されたかは明記されておらず、実際の性能は環境によって変わり得ます。

また、日本語を含む多言語性能についても、記事からは詳細が分かりません。PII検出が16言語対応とされていますが、日本語が含まれるかは確認が必要です。今後のベンチマーク追加や最適化対応が待たれるところです。