- 検索後のチャンクをClaude Haikuで圧縮し、Claude Sonnetに渡す構成
- 平均33%削減・入力8.6倍減。再ランク併用では36%・10.1倍減
- ハルシネーション率は基準の51%から圧縮で44%、併用で38%に低下
何が発表されたか
AWSは2026年8月21日、Amazon Bedrockを活用したRAGのコスト削減手法を公式ブログで公開しました。この手法は、検索で取得した文書チャンクを「クエリ対応圧縮」と呼ばれる後処理で絞り込み、回答生成モデルに送るトークン数を減らします。従来のRAGパイプラインに1ステップ追加するだけで実装できると説明されています。
構成は、圧縮用の小規模モデルとしてAnthropic Claude Haikuを、回答生成用の大規模モデルとしてAnthropic Claude Sonnetを使う例が示されています。両方のモデル呼び出しは単一のAWS Lambda関数内で実行され、Amazon Bedrock Knowledge Basesなど既存のリトリーバーと組み合わせられます。
仕組みと新規性
通常のRAGでは、ベクトル検索が返す上位k件のチャンクをそのままプロンプトに連結します。チャンクサイズや件数によっては、1クエリあたり数千トークンがモデルに入力され、これがコストの大きな部分を占めます。
新しい仕組みでは、小さなモデルがユーザーの質問とチャンクを読み、関連する原文の一部分だけを「スパン」として抽出します。要約ではなく原文からの転記を指示し、温度0.0で動作させることで決定的に抽出します。チャンクIDを保持するため、回答時の引用も可能です。これにより、回答に必要な証拠を保ちながら、主要モデルが受け取る文脈を減らせます。
評価結果の数字
記事のベンチマークでは、50万件超の文書と500の質問を使い、圧縮なし・圧縮あり・再ランク+圧縮の3条件を比較しています。対象はチャットやメール、会議議事録など9種類のエンタープライズ文書で、質問は10カテゴリにわたります。圧縮のみで平均33%のコスト削減、主要モデルへの入力トークンを8.6倍減らせたと報告されています。再ランクと併用した場合は36%のコスト削減、10.1倍の入力削減になりました。
回答品質をLLMが判定したところ、正解性はベースラインと0.07ポイント以内の差で、網羅性と引用精度はわずかに低下し、簡潔さは少し向上しました。ハルシネーション率はベースライン51%、圧縮44%、再ランク+圧縮38%でした。コスト削減率はクエリの難しさで変わり、典型的な質問では37%ですが難しい質問では26%に、再ランク併用でも40%から30%に下がります。
導入時の注意点
導入に当たっては、圧縮呼び出しが1回増えるため、レイテンシが延びる点を考慮する必要があります。Claude Haikuは速度向けに最適化されていますが、応答時間の実測と、製品要件を満たすかの確認が求められます。まずは小さなサンプルで品質への影響を測るとよいでしょう。
また、掲載された評価は特定のコーパスと質問分布に基づくもので、自社の文書や質問では結果が異なる可能性があります。AWSアカウントやIAMロールの作成、Bedrockのモデルアクセス設定といった前提条件も必要です。導入前に、自社データで再現性を確認することをお勧めします。
既存機能との併用
AWSは、このパターンをプロンプトキャッシュ、Bedrock Intelligent Prompt Routing、Rerank APIと組み合わせることで、さらなるコスト削減を期待できると述べています。ただし、併用時の具体的な削減率や手順の詳細は今回の記事では示されていません。
それでも、検索後の処理をカスタムできる点は、Amazon Bedrockの構成可能なアーキテクチャの利点として強調されています。既存のRAGパイプラインに後付けしやすい構成です。特に、RAG基盤をすでに構築済みのチームは、リトリーバーを変えずに試せるのが利点です。
| 項目 | ベースライン | 圧縮 | 再ランク+圧縮 |
|---|---|---|---|
| コスト削減率（対ベースライン） | —（基準） | 33% | 36% |
| 主要モデルへの入力トークン | —（基準） | 8.6倍減 | 10.1倍減 |
| ハルシネーション率 | 51% | 44% | 38% |
Output ONLY those spans, copied verbatim from the source. Do not paraphrase, summarize, or rewrite.
原文からそのままコピーしたスパンのみを出力してください。言い換えや要約、書き直しはしないでください。
今後の見通し
今回の評価は、ある企業文書コーパスに基づく1回のベンチマークです。今後は、異なるドメインやモデル組み合わせでのデータが蓄積されれば、圧縮手法の汎用性が見えてくると考えられます。特に、レイテンシへの影響を実測した事例や、Rerank API・プロンプトキャッシュと併用した場合の費用対効果が公表されれば、本番導入するかどうかを判断しやすくなるでしょう。当面は、小規模なパイロットで自社の文書を対象にコスト・品質・レイテンシを測定するのが現実的な進め方です。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、RAGの本番運用は入力トークンに伴うコスト増が課題になりがちです。今回の手法は、管理サービスとLambdaという構成要素で実装でき、追加のインフラがほとんど不要な点が実務的に大きいと言えます。特に、社内文書検索やカスタマーサポート向けQ&Aのように、取得チャンク数を多く設定しているシステムでは、圧縮によるコスト削減効果を検討する価値があります。また、ハルシネーション率の低下は、回答の根拠を示す必要がある日本企業の業務利用では見逃せない利点です。ただし、効果はクエリ分布や文書の種類に依存するため、まずは対象範囲を絞ったパイロット評価を行い、遅延を含めた費用対効果を測るのが現実的な進め方になるでしょう。
気になる点
- どのような環境で使えますか。
- Amazon Bedrock上でRAGを構成している場合に利用しやすいです。アプリケーションの後段にLambda関数を挟み、圧縮モデルと回答モデルを呼び出します。Amazon Bedrock Knowledge Basesとの互換性も示されています。AWSアカウントとモデルアクセスの設定が必要です。
- コスト削減率はどれくらいですか。
- 記事のベンチマークでは、圧縮だけで平均33%、再ランクと併用で36%のコスト削減が報告されています。ただし、典型的な質問と難しい質問で37%と26%に分かれるなど、クエリの性質に左右されます。自社の文書と質問で測定することが前提です。
- 回答品質は落ちないのでしょうか。
- 記事のLLM判定では、正解性の低下はベースラインから0.07ポイント以内でした。一方、網羅性と引用精度はわずかに低下しています。関連箇所を捨てる可能性もあるため、自社の評価データセットで確認するのが推奨されます。
用語解説
- RAG
- 外部の文書を検索して取得し、その内容をモデルに渡して回答を生成する技術。
- クエリ対応圧縮
- 検索結果のチャンクから、ユーザーの質問に関連する原文の一部分だけを抽出し、入力トークンを削減する手法。
- top-k
- ベクトル検索で類似度が高い上位k件のチャンクを指す。kは通常5〜20程度。
- ハルシネーション
- モデルが根拠のない内容をあたかも事実のように生成する現象。
- Converse API
- Amazon Bedrockで対話形式のメッセージを送り、モデルを呼び出すAPI。
- AWS Lambda
- AWSが提供するサーバーレス実行環境。コードをイベント駆動で実行できる。
出典
Reduce RAG costs on Amazon Bedrock with query-aware compression
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する