- LFM3は6つの2B級モデルを単一のバックボーンから派生させたモデル群
- LFM3-1.7Bはトライハイブリッド構成で、4bit量子化時に約1GB、256Kトークンの文脈長を持つ
- 視覚・音声は自社製エンコーダを新規採用し、LiquidCodecはCPU1スレッドで約87倍速
- ベンチマークは同社ブログ内の自己申告値で、第三者検証は示されていない
LFM3とは何か
Liquid AIが発表したLFM3は、同社のLiquid Foundation Modelsの新しい世代にあたる。テキスト・視覚・音声・オムニ・意思決定という複数のモダリティを、2Bパラメータ級の共通バックボーンから派生させた6モデルとして提供する。汎用の巨大モデルを1つ動かすのではなく、入力に合ったモデルを選び、自社データで調整し、アプリケーションが動く場所で実行する使い方を想定している。
前世代のLFM2と比べた変化は4点に整理されている。パラメータあたりの能力向上、全モダリティの共通バックボーン化、エッジ向けの最適化、そして特化しやすさだ。原文では、LFM3-1.7Bが35%少ないパラメータでLFM2.5-2.6Bを上回るとしている。テキストモデルは4bit精度で約1GBに収まり、256Kトークンのコンテキスト窓を持つ。
アーキテクチャの変更点
LFM3-1.7B-Baseは24層で、短い畳み込みとアテンションを組み合わせる「トライハイブリッド」構成を採る。内訳はゲート付き短畳み込み13層、256トークン窓のSWA（スライディングウィンドウアテンション）5層、グローバルアテンション6層で、畳み込みのカーネルサイズはLFM2の3から7に広げた。設計にはハードウェア・イン・ザ・ループのアーキテクチャ探索を用い、スマートフォン、Raspberry Pi 5、ノートPC、クラウドCPU、GPU、Qualcomm Hexagon NPUまで14通りのデバイスとバックエンドの組み合わせを探索対象にしている。
アテンション周りには3つの工夫がある。ヘッド単位のシグモイドゲートで各ヘッドの出力を抑え、量子化の精度を落とす活性化の外れ値の抑制を狙う。グローバルアテンション層には部分RoPEを適用し、各ヘッドの高周波側の半分だけを回転させる一方、SWA層はフルRoPEのままとした。各ブロックの入力と出力の両方を正規化するサンドイッチノルムも取り入れている。
事前学習は22Tトークンで、語彙数128KはLFM2.5-8B-A1Bと共通とする。最後の3.5Tトークンはエージェントの軌跡やツール呼び出しを多く含むデータでの中間学習に充て、コンテキスト窓を256Kトークンに拡張した。パラメータあたりでは、短いプロンプトでLFM2-1.2Bと同等、8Kトークンを入れた場合は約25%高速だとしている。
6モデルと新エンコーダ
テキストのLFM3-1.7Bは、Hermes Agent、Pi、OpenClawといったエージェント実行環境での利用を想定して事後学習されている。WebArena-Verifiedでは38.42（前世代は3.02）を記録し、ブラウザや業務アプリでの長いタスクではQwen3.5-9Bも上回るとする。視覚のLFM3-VL-2BはLFMシリーズ初の動画入力に対応し、1.9Bパラメータでありながら62の視覚ベンチマーク平均を57.6から71.4へ引き上げ、6倍以上大きいGemma 4 12Bと同等だとしている。
音声のLFM3-Audio-2Bは18言語に対応し、音声品質の指標UTMOSv2は3.83（前世代は3.22）。オムニのLFM3-Omni-2Bは同社初のオムニモデルで、テキスト・視覚・音声を入力に、テキストと音声の両方を出力する。音声映像の理解では、Qwen2.5-Omni-7Bなど10.7Bまでのモデルを上回るとする。
エンコーダも刷新された。視覚エンコーダは畳み込みとアテンションを組み合わせ、従来のLFM VL系で使ったSigLIP2より3倍少ない計算量で済む。164MパラメータでQwen3.5-2Bの視覚エンコーダと同等の精度を2.2倍少ないFLOPsで達成したとする（いずれも同一のLFM2.5-230M言語バックボーンで測定）。動画はサンプリングした2フレームを1つの時間スライスにまとめ、時間方向の系列長を半減させる。音声エンコーダは完全因果的で発話中にprefillでき、最初のトークンまでの時間は最小50ms。音声トークナイザのLiquidCodecは、Apple M4 MaxのCPU1スレッドで約87倍速の音声生成が可能だとしている。
現時点の注意点
提示されたベンチマークはすべて同社ブログ内の自己申告値で、第三者による検証は示されていない。比較対象のGemma 4 12B、Qwen3.5-9B、Qwen2.5-Omni-7Bなどについて、測定条件が同一かどうかも原文には明記されていない。数値の比較は参考値として扱うのが妥当とみられる。
ライセンスや商用利用の条件、各モデルの詳細なメモリ要件は原文に記載がない。音声の18言語に日本語が含まれるかも不明だ。d1-2Bとd1-omni-2Bについては、テキスト生成ではなく構造化された意思決定を行うモデルだと説明されているが、原文はその説明の途中で終わっており、詳細はモデルカードを確認する必要がある。
| モデル | パラメータ数 | 前世代 | 主な指標 |
|---|---|---|---|
| LFM3-1.7B | 1.7B | LFM2.5-2.6B | WebArena-Verified 38.42（前世代3.02） |
| LFM3-VL-2B | 1.9B | LFM2.5-VL-3B | 62視覚ベンチ平均 71.4（同57.6） |
| LFM3-Audio-2B | 2B級 | LFM2.5-Audio-1.5B | UTMOSv2 3.83（同3.22） |
a new tri-hybrid architecture and training recipe allow LFM3-1.7B to outperform LFM2.5-2.6B while using 35% fewer parameters.
新しいトライハイブリッド・アーキテクチャと学習レシピにより、LFM3-1.7Bは35%少ないパラメータでLFM2.5-2.6Bを上回ります。
今後の見通し
短期的には、各モデルのライセンス条件とモデルカードの詳細が公開されるかが最初の判断材料になる。d1系の仕様、VL・Audio・Omniの必要メモリ、対応言語の一覧が明らかになれば、実運用に載せられるかの見極めが進むとみられる。中期的には、ハードウェア探索の対象にRaspberry Pi 5やQualcomm Hexagon NPUが入っている点が効いてくる可能性がある。ARM系の組み込み機器でどこまで実用的な速度が出るか、第三者が再現したベンチマークが出るかが次の焦点となる。
日本の開発者・IT企業にとっての意味
日本のIT企業にとっては、GPUクラウドを前提としない選択肢が増えるという意味がある。2B級で4bit時に約1GBなら、工場の検査端末、店舗の端末、社内PC上でのエージェント実行など、ネットワーク遅延やデータ持ち出しが問題になる場面に組み込みやすい。単一GPUでファインチューニングできる点は、自社用語や帳票の形式に合わせた調整のハードルを下げる。Raspberry Pi 5やQualcomm Hexagon NPUが探索対象に入っていることは、ARM系の組み込み開発を手がける企業にとって追い風になり得る。一方、ライセンス、日本語品質、実運用時のスループットは別途の確認が必要で、PoCでは自社データでの評価を前提にすべきとみられる。
気になる点
- 日本語には対応しているのか
- 音声モデルは18言語対応とされるが、言語の一覧は原文に記載がない。テキストは語彙128KでLFM2.5-8B-A1Bと共通とあるが、日本語での精度を示す評価は示されていない。現時点で公表情報だけからは判断できない。
- どの程度のマシンで動かせるのか
- テキストのLFM3-1.7Bは4bit量子化で約1GBに収まり、ファインチューニングは単一GPUで可能とされる。ただしVL・Audio・Omniの必要メモリは原文に記載がない。実行にはモデルごとに指定されたtransformersのバージョンが必要になる。
- 既存のtransformers環境から移行できるのか
- 各モデルはtransformersのpipelineやAutoModel系クラスで読み込める形式で公開されている。VLにはtransformers 5.21.0以上、AudioとOmniには5.20.2以上と最低バージョンが異なる点に注意が必要で、trust_remote_code=Trueの指定も求められる。
用語解説
- パラメータ
- モデルが内部に持つ重みの数。多いほど表現力は上がるが、推論に必要なメモリと計算量も増える。
- 量子化
- 重みを4bitなど低い精度で表現し、メモリ使用量と計算コストを削減する手法。
- SWA
- スライディングウィンドウアテンション。直近N個のトークンだけを参照し、長い文脈でも計算量を抑える。
- RoPE
- 位置情報を回転行列として埋め込む手法。トークン間の相対的な位置関係の扱いに強い。
- NPU
- 端末向けの推論専用チップ。CPUやGPUより電力効率が高いことが多く、スマートフォンなどに搭載される。
- TTFT
- Time to First Token。最初のトークンが出力されるまでの時間で、音声対話の応答性を左右する。
出典
Build specialized multimodal models with LFM3
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する