NVIDIA、LLM交代時のKVキャッシュ再計算を線形変換で回避する新手法

発表内容の概要

NVIDIAの研究者は、エージェント型AIシステムでモデルを切り替える際に発生する高コストな再計算を回避する「クロスモデルKVキャッシュ転送」技術を発表しました。これは、ソースモデルで計算済みのKVキャッシュを、ターゲットモデルが利用できる形式に線形変換でマッピングする手法です。

従来は、モデルを切り替えるたびに受信側モデルが会話全体を再計算する必要があり、計算コストとレイテンシの大きなボトルネックとなっていました。この新手法は、その再計算を不要にするものです。

技術の仕組み

大規模言語モデル（LLM）は、入力プロンプトを処理する「プリフィル」段階で全トークンのキーとバリューを計算し、KVキャッシュに格納します。その後、「デコード」段階ではこのキャッシュを参照しながらトークンを逐次生成します。

モデルのアーキテクチャが異なるとキャッシュの形式も異なるため、モデルを切り替えると受信側はプリフィルを最初からやり直す必要がありました。NVIDIAの手法では、線形マッピングによってキャッシュ形式を変換し、再計算を避けます。

従来の転送手法は勾配ベースの学習を必要としたり、厳しいアーキテクチャ制約があったりしましたが、今回の手法は単純な線形計算で済む点が新しいとされています。

実験結果と有効性

互換性のあるモデルペア（Qwen、Llama、Ministralの各ファミリー内の異なるサイズ）で実験したところ、線形変換による転送は再計算より2.7〜25倍高速で、ターゲットモデルの単体精度の最大98%を維持しました。

これにより、小規模モデルを複雑な推論に活用し、大規模モデルへスムーズに引き継ぐ「小→大」転送と、初期の重い処理の後に経済的な小規模モデルへ切り替える「大→小」転送の両方が現実的になります。

現時点の限界

今回の研究は初期段階であり、同一ファミリー内のモデル間転送に限定されています。異なるアーキテクチャやトークナイザーを持つモデル間での転送には、さらなる研究が必要です。

また、線形変換がどのような条件下で精度低下を最小限に抑えられるかについての詳細な分析は今後の課題です。