
- 最大5モデルを1回のジョブで最適化し、前後の性能を比較できる
- 品質スコア・TTFT・推論コストを自動測定し、プロンプトを反復改善
- コンソールとAPIの両方に対応し、画像やPDFのマルチモーダル入力もサポート
何が発表されたか
AWSは2026年7月30日、Amazon Bedrock上で動作する新機能「Advanced Prompt Optimization」を発表した。これは、プロンプトの最適化とモデル移行を自動化するためのツールである。
従来、生成AIアプリケーションを新しいモデルへ移行する際、プロンプトの書き換えと応答評価を手作業で繰り返す必要があり、数日から数週間かかることもあった。Advanced Prompt Optimizationは、この作業を評価指標ベースのフィードバックループで置き換える。
利用者はプロンプトテンプレートと評価用データを用意するだけで、最大5モデルを同時に最適化し、元のプロンプトと最適化後のプロンプトの性能を並べて比較できる。
自動最適化の仕組み
この機能は、モデルの重みを変更せずにプロンプト自体を反復的に書き換える。強化学習に似たフィードバックループを採用し、利用者が指定した評価指標に基づいて応答を評価し、その結果を反映してプロンプトを改善することを繰り返す。
出力されるのは、最適化前後のプロンプトに加え、評価スコア、サンプルごとのTTFT(最初のトークンが返るまでの時間)、オンデマンド価格での推論コスト見積もりだ。品質だけでなく遅延とコストをまとめて確認できる。
利用方法は2つある。現在のモデルを基準に最大4つの候補モデルを選んで移行を検討するモードと、同じモデルのままプロンプトだけを改善するモードだ。モデルは最大5つまで1つのジョブで扱える。
評価方法とマルチモーダル対応
評価方法は3つ用意されている。デフォルトのビルトイン評価は正確性と回答の完全性、文章スタイルを組み合わせてスコア化する。AWS Lambdaで独自の評価指標を実装する方法と、LLM-as-a-judge(大規模言語モデルを判定者として使う)方式も選べる。
さらに、steering criteriaとして「簡潔に」「専門的なトーンで」といった指示をリストで与え、プロンプトの書き換え方向を制御することも可能だ。複数の評価指標を重み付けして合成する方式にも対応する。
入力はテキストだけでなく、PNG、JPG、JPEG、GIF、WebP、PDF形式のファイルにも対応している。S3に保存されたファイルをURIで参照することで、文書分析や画像分類、視覚的な質問応答などにも活用できる。
利用の流れと実績例
利用方法はコンソールとAPI(boto3)の2通りがある。まずJSONL形式の入力ファイルを作成し、プロンプトテンプレートと評価サンプルを定義する。モデルを選択してジョブを送信し、完了後に結果を確認する流れだ。
記事では2つの実験例が示されている。関数呼び出しタスクの「NESTFUL」ではAmazon Nova 2 Liteの精度が0.267から0.647に向上した。要約タスクの「XSum」ではClaude Haiku 4.5の品質スコアが0.550から0.743になり、出力トークン数は51から28に減少している。
結果画面では最適化前後のプロンプトを横に並べて表示し、サンプルごとのメトリクスやトークン数、レイテンシーの内訳を確認できる。コスト見積もりはオンデマンド価格に基づいて表示される。
現時点の注意点
この機能はプロンプト最適化ツールであり、モデルのファインチューニングや重みの更新を行うものではない。評価指標の品質が結果を左右するため、自前の評価指標やルーブリックを用意することが推奨されている。
TTFTは実時間のインフラ状況を反映するため、単回の測定値は方向性を見るための指標として扱うことが適切とされる。結果はデータセットやプロンプトの複雑さ、モデル選択によって異なる。
なお、この記事の内容は2026年7月30日時点の情報であり、マネージドサービスの仕様は今後変わる可能性がある。実際に使う際は最新の技術ドキュメントを確認するのがよい。
Customers spend days to weeks optimizing prompts and re-evaluating responses when they migrate to a new model.
顧客は新しいモデルへ移行する際、プロンプトの最適化と応答の再評価に数日から数週間を費やしている。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、生成AIアプリケーションの本番運用ではモデル更新のたびにプロンプトを再調整する作業が負担になっている。この機能を使えば、移行候補のモデルを同じデータセットで一括評価できるため、モデル選定の速度が上がる。既存モデルの性能を引き出すプロンプト改善にも応用できる。評価指標を自社で定義すれば、品質基準に合わせた最適化が可能になり、手作業によるA/Bテストの一部を減らせる可能性がある。一方で、評価指標やルーブリックの設計が結果に直結するため、導入時には検証データの整備が重要だ。ジョブ実行に伴って推論コストが発生する点も考慮が必要となる。
用語解説
- Amazon Bedrock
- AWSが提供するマネージド型の生成AI基盤サービス。複数の基盤モデルをAPI経由で利用できる。
- プロンプト最適化
- モデルへの指示文を自動的に改善する技術。評価指標に基づいてプロンプトを書き換える。
- TTFT
- time-to-first-tokenの略。リクエスト送信から最初の応答トークンが返るまでの時間。
- LLM-as-a-judge
- 大規模言語モデルを判定者として使い、別のモデルの出力を評価する手法。
- JSONL
- 1行ごとにJSONオブジェクトを記述したファイル形式。データセットの入力などに使われる。
出典
Migrate your prompts to new models and optimize them on Amazon Bedrock
企業のAI活用顧問を、いまなら無料で承っています
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて一緒に整理します。導入前の相談だけでも構いません。
無料でAI活用の相談をする