.png)
- エージェントは毎ターン会話全体を再送信し、入力が長く出力は短い傾向がある
- プロンプト先頭を1文字でも変えると、それ以降のキャッシュは無効になる
- ツール定義の後置読み込みや推論設定の変更は、モデル依存でキャッシュを壊す
何が整理されたのか
Together AIは、Ollamaと共同でエージェント用途のプレフィックスキャッシュに関する知見をブログにまとめた。両社は同じ問題を逆方向から見ており、Ollamaは「各リクエストに何を入れるか」を決めるハーネス側、Together AIは「リクエストが届いた後に何が起きるか」を決める推論エンジン側を担当する。記事は、双方の作業の多くが相手側の振る舞いからキャッシュを守ることに費やされていたと説明している。
Ollama側では、`ollama launch`コマンドを通じて好みのハーネスを接続できる機能を提供している。Claude Code、Codex、Pi といったハーネスを、DeepSeek-V4.1-FlashやGLM-5.3といったオープンモデルと組み合わせ、既存のワークフローを維持したまま使えるという。ただしハーネスとモデルの間には翻訳の層が多く期待値も異なるため、それがキャッシュ破壊や原因不明の挙動、エラーにつながりやすいと指摘している。
キャッシュが効く理由
エージェントのトラフィックは特異な形をしている。エージェントが1ステップ進むたびに、ハーネスはシステムプロンプト、全ツール定義、ユーザーの依頼、読んだファイル、実行したコマンドをすべて含む会話全体をモデルへ送る。返ってくるのは数十トークン程度のツール呼び出しであることが多く、これが繰り返される。記事はこの「入力系列長(ISL)が大きく出力系列長(OSL)が小さい」形をエージェント workload の特徴と位置づけている。
推論は2つの段階に分かれる。プロンプト全体を並列に読んで最初のトークンを作るプリフィルと、1トークンずつ書き出すデコードである。エージェントの1ターンはほとんどがプリフィルになり、セッションが数万トークンに育つと入力が支配的になる。そこで効くのがプレフィックスキャッシュで、前回までの計算結果を保持し、増えた部分だけを処理できる。
記事に示された単純化した試算では、各ターンの増分が同じなら、キャッシュなしの10ターンは1+2+…+10で55単位、キャッシュありなら10単位になる。100ターンでは5,050単位対100単位になる。実際のターンは大きさが異なるため理想化された数字だと断ったうえで、キャッシュなしでは再処理する量がセッション長の2乗で増えるという傾向を強調している。
ハーネス側の落とし穴
キャッシュの一致は、プロンプト先頭から最初に異なるトークンまでで止まる。末尾への追加は追加コストがかからないが、それより前を1文字でも変えると以降はすべて再処理になる。記事はこの1つのルールから他のほぼすべてが導かれると述べている。典型例が、システムプロンプトに現在時刻やgit status、移動し続ける作業ディレクトリといったターンごとに変わる値を入れてしまうケースだ。対策は、そうした情報をタスクメッセージに一度だけ置き、システムプロンプトは同一に保つことだとしている。
推論の強度設定も罠になる。GLM-5.3-Flashではreasoning effortがエンジン側の別設定ではなく、チャットテンプレートによってツールや会話より前の最初のシステムブロックに書き込まれる。長いタスクの途中で低から高へ上げると、ほぼ最初のトークンから差分が出てセッション全体が再処理される。記事は開始時に強度を決めて変えないこと、変更が必要なら新しいセッションを始めるか先に文脈を圧縮することを勧めている。
ツール出力の切り詰め方にも注意が要向けられている。640行のcalendar.pyのうち必要な関数が420行目にあるのに、先頭100行だけを何も告げずに返すと、モデルは欠落に気づかないまま編集してしまう。出力に「640行中の1〜100行」と一行添えるだけで、モデルは検索して該当箇所を読み直せる。サブエージェントについては、親の履歴をすべて継承する方法と、必要な情報だけ渡す方法があり、継承は一見有利だがキャッシュ済みでも無料ではなく、GPUメモリを占有し続けると説明している。
エンジン側と残る論点
ハーネス側を完璧にしても、キャッシュが存在し、次のリクエストがそれを保持するマシンに届かなければ効果はない。セッションのキャッシュは特定データセンターの特定ノードに載るため、別の場所に届くと全ターンの再処理が発生し、同じプレフィックスが2つのノードに二重に保持されることになる。記事はまずモデルを動かし余力があり、セッションが動いていたデータセンターを選び、その中でキャッシュを持つノードを選ぶ必要があると整理している。
ノードの選び方は主に2つある。クライアントが`prompt_cache_key`のようなキーを毎回送り、同じキーのリクエストを同じノードへ寄せる方法と、プレフィックスをハッシュして最も長く一致するノードへ送る方法だ。なお、公開された記事はこのハッシュ方式の説明の途中で切れており、ルーティングの詳細や失敗時の扱いは本文からは読み取れない。
コスト面の前提も示されている。記事はGPU1台のレンタル費用を年間およそ5万ドルとし、推論エンジンはGPUを遊ばせないための機械だと表現する。そのうえで、常時数百人のユーザーがそれぞれ違う進行位置にいる状況で、エージェントのトラフィックが制約を押し上げると説明している。
| ターン数 | キャッシュなし | キャッシュあり |
|---|---|---|
| 10ターン | 55単位 | 10単位 |
| 100ターン | 5,050単位 | 100単位 |
The catch is that a prefix cache matches from the beginning of the prompt up to the first token that's different, and stops there. Everything after that first difference has to be processed again.
注意すべき点は、プレフィックスキャッシュがプロンプトの先頭から、最初に異なるトークンまでの一致で止まることだ。その最初の差分より後はすべて再処理が必要になる。
今後の見通し
今回の記事は、ハーネスと推論エンジンの双方が守るべきルールを1箇所にまとめた点に価値がある。今後は、各ハーネスがツール定義の後置読み込みやシステムプロンプトの固定にどこまで対応するか、モデル側のチャットテンプレートが会話途中のツール定義を許容するかが焦点になるとみられる。ルーティングのハッシュ方式やキー指定の実装詳細、公開記事で途中になっている部分が明らかになれば、実際の運用コストの見積もり精度が上がるだろう。
日本の開発者・IT企業にとっての意味
日本のIT企業がオープンモデルでコーディングエージェントを内製・運用する場合、性能差より先に効いてくるのがこのキャッシュ効率です。エージェントは毎ターン会話全体を送るため、システムプロンプトへの時刻埋め込みや推論強度の動的変更といった何気ない実装が、待ち時間とコストを数倍に膨らませます。ハーネスを自作するチームは、プロンプト先頭を固定する、ツール出力の切り詰めを明示する、サブエージェントに渡す文脈を選ぶといった設計を最初から組み込む価値があります。推論基盤を選ぶ際も、セッションを同じノードへ寄せるルーティングやキャッシュキーの指定に対応しているかを確認項目にするとよいでしょう。
気になる点
- 日本からでもOllama経由で同じ構成を試せるのか
- 記事は`ollama launch`コマンドでClaude CodeやCodex、Piなどのハーネスを接続し、DeepSeek-V4.1-FlashやGLM-5.3などのオープンモデルと組み合わせられると説明しています。地域ごとの提供条件については原文に記載がないため、利用可否は各サービスの提供状況を確認する必要があります。
- キャッシュを効かせると費用はどのくらい変わるのか
- 記事には10ターンで55単位対10単位、100ターンで5,050単位対100単位という試算がありますが、理想化した数字だと明記されています。GPU1台あたり年約5万ドルという前提は示されていますが、API利用料金そのものは原文に記載がなく、現時点では公表されていないと解釈するのが妥当です。
- 既存のハーネスをそのまま使っても大丈夫か
- 注意が必要です。システムプロンプトに可変値を入れる、推論強度を途中で変える、ツール出力を無告知で切り詰めるといった振る舞いはキャッシュを壊します。加えて、会話途中にツール定義を置けるかはモデルのチャットテンプレート次第で、対応しないモデルではエラーになる場合があるとされています。
用語解説
- プレフィックスキャッシュ
- プロンプト先頭から一致する部分の計算結果を再利用し、増えた部分だけを処理する仕組み。
- KVキャッシュ
- 注意計算で使うキーと値の中間結果を保持し、同じトークンの再計算を省くためのもの。
- プリフィル
- プロンプト全体を並列に読み込み、最初のトークンを生成する段階。待ち時間を決める。
- デコード
- 1トークンずつ出力を生成する段階。計算量よりメモリ帯域の制約を受けやすい。
- ハーネス
- エージェントを動かす側のプログラム。プロンプトの組み立てやツール呼び出しの実行を担う。
- ISL/OSL
- 入力系列長と出力系列長。エージェントは入力が長く出力が短い形になりやすい。
出典
Making open models work for long-horizon agentic workloads
https://together.ai/blog/making-open-models-work-for-long-horizon-agentic-workloads
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する