- QAD蒸留により量子化後もBF16比97%の精度を維持
- Q4_0 GGUFとしてメモリと速度は従来と同等
- llama.cppやGGUF対応ランタイムで即利用可能
発表内容
Liquid AIは、小型の言語モデル「LFM2.5」シリーズについて、Q4_0量子化を適用したGGUFチェックポイントを公開しました。対象はLFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、LFM2.5-2.6Bの4モデルです。
これらのモデルはHugging Faceで公開されており、ファイル名に「QAD-Q4_0」と付いています。従来のQ4_0と同じメモリ使用量とデコード速度を維持しながら、量子化による精度劣化を大幅に抑えているとしています。
QADとは
従来の量子化は、学習済みの高精度モデル（BF16など）を後から変換するPTQ（学習後量子化）が一般的です。これに対しQADは、高精度の教師モデルの知識を、量子化済みの学生モデルに蒸留しながら学習する手法です。
この手法により、量子化されたモデルの精度を教師モデルに近づけることができます。記事によると、QADで学習したQ4_0モデルは、量子化で失われるBF16平均精度の97%を回復したとしています。
ベンチマーク結果
評価にはGPQA Diamond、MMLU-Pro、IFEval、IFBench、Multi-IF、BFCLv4という、推論・指示追従・ツール使用・エージェント能力を測るベンチマーク群を使用しています。さらに、モデル規模に合わせてLFM2.5-230Mと350MにはGSM8K、1.2Bと2.6BにはAIME25という算数評価を追加しています。
その結果、QADによるQ4_0チェックポイントは、BF16ベースラインの精度をそれぞれ97.1%、96.5%、97.4%、96.6%維持しました。また、230Mと350MはQ5_K_M相当の品質に、1.2Bと2.6BはQ4_K_M相当の品質に、従来の量子化モデルより高速なデコードで到達しています。
エッジデバイスでの速度
記事では、実際のエッジハードウェア上でのデコード性能を測定しています。対象はMacBook Pro、NucBox EVO-X2、Samsung Galaxy S26 Ultra、Raspberry Pi 5です。MacBook ProとNucBoxはGPU推論、SamsungとRaspberry PiはArm CPU推論で測定しています。
その結果、230Mと350MのQAD Q4_0チェックポイントは、Q5_K_M相当の品質を維持したまま、従来のQ4_0より4〜33%高いデコード速度を実現しました。1.2Bと2.6Bも同様に、Q4_K_M相当の品質で3〜14%の速度向上を確認しています。
利用方法と注意点
公開されたGGUFファイルは、llama.cppまたはGGUF Q4_0に対応したランタイムでそのまま使えます。具体例として、次のコマンドが紹介されています。llama-cli -hf LiquidAI/LFM2.5-350M --hf-file LFM2.5-350M-QAD-Q4_0.gguf -p "What is C. elegans?"
現時点で公開されているのはQ4_0のみです。Q4_0以外の量子化形式や、より大きなモデルへの適用はまだ発表されていません。また、エッジデバイスでの実利用には、各ランタイムでの互換性や実測性能を確認することが望ましいでしょう。
| モデル | 品質の一致先 | デコード速度の向上 |
|---|---|---|
| 230M/350M | Q5_K_M相当 | 4〜33% |
| 1.2B/2.6B | Q4_K_M相当 | 3〜14% |
The QAD checkpoints retain 97.1%, 96.5%, 97.4%, and 96.6% of their respective BF16 baseline performance.
QADチェックポイントは、それぞれBF16ベースライン性能の97.1%、96.5%、97.4%、96.6%を維持します。
今後の見通し
今後、QADの手法がより大きなモデルや、Q4_0以外の量子化形式にも適用されるかが注目されます。また、実際のアプリケーションで活用事例が増えれば、エッジAIの選択肢としての位置づけが明確になるでしょう。次に公開されるベンチマークや、llama.cpp以外のランタイムでの互換性情報が判断材料になるとみられます。
日本の開発者・IT企業にとっての意味
日本のIT企業がスマートフォンや組み込み機器にLLMを載せる場合、量子化は必須ですが、精度低下が課題でした。QADは従来のPTQよりも精度を保ったままQ4_0の速度とメモリ効率を維持できるため、エッジAIの実用性を高めます。llama.cppでそのまま動くため、既存のGGUFワークフローへの導入が容易で、クラウド依存を減らしたローカルAIアプリの開発が現実的になります。また、モデルサイズが230M〜2.6Bと小さく、日本語対応の有無は不明ですが、日本語タスクへの応用を試す価値はあるでしょう。
気になる点
- QAD GGUFはどうやって使うのですか？
- 記事に記載の通り、llama-cliで `-hf LiquidAI/LFM2.5-350M --hf-file LFM2.5-350M-QAD-Q4_0.gguf` のように指定します。GGUF Q4_0に対応したランタイムであれば、同様の方法で利用できます。
- なぜQ4_0だけが公開されているのですか？
- 現時点で公開されているのはQ4_0のみです。他の量子化形式（Q5_K_MやQ8_0など）は発表されていませんが、QADの手法自体は形式を選ばない可能性があるものの、現時点では公式な情報はありません。
- 従来のPTQと比べてどのくらい改善するのですか？
- 記事では、QADがQ4_0チェックポイントを大幅に改善したと述べていますが、PTQとの具体的な性能差の数値は示されていません。ただし、BF16ベースラインの97%程度の精度を維持できたことは報告されています。
用語解説
- QAD
- 量子化対応蒸留。高精度の教師モデルを量子化済みの学生モデルに蒸留する学習手法。
- GGUF
- llama.cppなどで使われるモデルファイル形式。量子化済みモデルの配布に広く使われる。
- Q4_0
- 4ビット量子化の一種。モデルのパラメータを4ビットで表現し、メモリ使用量と計算を削減する。
- PTQ
- 学習後量子化。学習済みモデルを後から低精度の数値表現に変換する手法。
出典
LFM2.5 Q4\_0 Checkpoints from Quantization-Aware Distillation
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する