LLM推論エンジンvLLMの内部を解説、V1アーキテクチャの基本構造とは

vLLM V1エンジンの概要

vLLMは大規模言語モデル（LLM）の高速推論を実現するオープンソースのシステムです。今回公開されたのは、その内部構造を段階的に解説するブログ記事シリーズの第1回で、V1エンジンを中心に据えています。記事はLLMエンジンとエンジンコアの基本に始まり、高度な機能やスケールアウト、サービング層、ベンチマークなど全5部構成です。

サンプルコードではTinyLlamaモデルを使い、vLLMのLLMクラスを初期化してgenerateを呼び出すオフライン推論の流れを示しています。この構成では単一GPUでの同期実行が前提で、Web配信やマルチGPU対応は段階的に追加されていきます。記事の解析基準は2025年8月9日時点のコミット（42172ad）と明記されています。

エンジンコアの構成要素

エンジンコアには、モデル実行を担うModel Executor、リクエストのスケジューリングを行うScheduler、KVキャッシュを管理するKV Cache Managerなどが含まれます。中でもKV Cache ManagerはPagedAttentionの核となる部分で、空きブロックのプール（free_block_queue）を維持し、トークンとKVキャッシュブロックの対応付けを行います。

モデル実行時には、CUDAデバイスの設定、モデルの読み込み、KVキャッシュの初期化という手順が実行されます。GPUメモリ使用率（例として0.8）を指定し、プロファイリング用のダミー実行後に空きメモリを計測して、キャッシュに割り当てるブロック数を決定します。CUDAグラフを利用したウォームアップも行われ、カーネル起動オーバーヘッドを削減しています。

スケジューリングと連続バッチ処理

スケジューラーは待機中と実行中のリクエストを管理し、各ステップでどのリクエストを実行するかを選択します。V1ではprefill（プロンプト全体の前方計算）とdecode（最新トークンだけの計算）を同じステップで混在させることができます。これはV0エンジンでは同時に処理できなかった点で、スループット向上に寄与します。

各リクエストについて、生成するトークン数や必要なKVキャッシュブロック数を計算し、マネージャー経由でブロックを割り当てます。ブロックが不足する場合には、低優先度のリクエストを退避させるプリエンプションが行われます。連続バッチ処理により、ステップごとに新しいリクエストを待機キューから取り込めるため、動的なバッチ構成が可能です。

今後のシリーズと注意点

本記事は基本構成に焦点を当てており、chunked prefillやprefix caching、ガイド付きデコード、投機的デコードなどの高度な機能は次回以降で解説される予定です。また、分散実行やサービング層についても今後のパートで扱われるとしています。

解析対象は特定のコミットに基づいているため、実際の実装はすでに変更されている可能性があります。さらに、V1エンジンは現在のデフォルトですが、V0からの移行過程にある点にも注意が必要です。記事ではハイブリッドモデル（Jambaなど）への対応がKVキャッシュ管理を複雑化させることにも言及しています。