AgentCoreとGitHub Actionsでエージェント評価をCI品質ゲートに

何が公開されたのか

AWSは、Amazon Bedrock AgentCore上にデプロイしたAIエージェントの品質を、CI/CDパイプラインで自動評価する構成をブログで公開しました。GitHub ActionsのワークフローがエージェントとMCPサーバーを開発環境にデプロイし、評価用のプロンプトで呼び出し、AgentCore Evaluate APIで採点します。スコアが基準を下回った場合、プルリクエスト（PR）のマージをブロックする「品質ゲート」として機能します。

背景にあるのは、システムプロンプトの変更、モデルの差し替え、ツール設定の更新などによって、エージェントの応答品質が良くなったのか悪くなったのかを継続的に把握したいというニーズです。手動テストでは規模的に対応できないため、CIの中で自動的に評価する仕組みが求められていました。記事では参照実装のリポジトリも案内されています。

評価機能の位置づけ

AgentCore Evaluationsは、エージェントの実行基盤であるAgentCore runtime、トレースを収集するAgentCore Observabilityと並ぶ品質測定レイヤーで、build→deploy→observe→evaluateというライフサイクルを完成させるものと説明されています。既定ではLLMを審判に使う「LLM-as-a-judge」方式で採点し、AWS Lambdaによるコードベース評価も選べます。評価はAmazon CloudWatchから読み取ったOpenTelemetryトレースに対して行われます。

評価モードは3つあります。オンデマンド評価は任意のセッションをその場で採点し、CI/CDの品質ゲートを支えます。オンライン評価は本番トラフィックを設定したサンプリング率で継続監視し、バッチ評価は複数セッションを1つの非同期ジョブでまとめて採点して、ベースライン測定や変更前後の比較に使います。

評価器は4種類です。組み込み評価器はHelpfulness、Correctness、GoalSuccessRate、ToolSelectionAccuracy、ToolParameterAccuracyなどの観点をカバーし、ツール呼び出しの順序を比較する3つのtrajectory評価器も含まれます。ほかに独自プロンプトを使うカスタム評価器、Lambdaで決定的なチェックを行うコードベース評価器、DeepEvalやAutoEvalといったサードパーティ製評価器があります。

CI認証の3つの方式

MCPサーバーがOAuthで保護され、ユーザーのロールに応じてツールアクセスを制限している場合、ユーザーコンテキストを持たないCIパイプラインは対話的なOAuth同意フローを完了できません。記事はこの課題に対する3つのアプローチを比較しています。

方式Aは、ステージングでエージェントを代表的なプロンプトで実行して得たトレースをJSONフィクスチャとして保存し、PR時にそのトレースを評価する方法です。Evaluate APIはライブのエージェントを必要としないため、CIは決定的になり、OAuthの問題を回避できます。ただし評価対象はPRのコード変更ではなく、ステージングのデプロイの挙動になります。

方式Bは、テスト用ユーザーでOAuth同意を一度だけ対話的に済ませ、リフレッシュトークンをAWS Secrets Managerに保管してCIから使う方法です。方式CはM2M認証を使う方法で、本記事が採用しています。MCPサーバーがM2Mとユーザー向けの両方のグラントタイプに対応し、CIはM2Mトークン、通常のユーザーは標準の同意フローを使います。

3層の認証と前提条件

方式Cでは、MCPサーバー側で3層の認証を組み合わせます。第1層はAgentCoreのCustom JWT AuthorizerによるJWT検証で、署名・発行者・オーディエンス・有効期限をプラットフォームが確認するため実装は不要です。第2層は request_header_allowlist=["Authorization"] により、呼び出し元のAuthorizationヘッダーをエージェントとMCPのコンテナまでそのまま転送する仕組みです。

第3層はFastMCPのネイティブミドルウェアであるAuthMiddlewareで、HTTPヘッダーからJWTを取り出し、PyJWTでクレームをデコードして custom:roles をツールのメタ情報に対して強制します。M2Mトークンはスコープを持つがロールを持たないためロールチェックがバイパスされ全ツールにアクセスでき、ユーザートークンにはツール単位のアクセス制御が働く設計です。

前提として、AgentCoreにアクセスできるAWSアカウントとCDKのbootstrap、Docker、Python 3.12以上、Node.js 20以上が必要です。Pythonパッケージは pip install boto3 requests bedrock-agentcore-starter-toolkit で導入し、このスターターツールキットのEvaluationクラスがCloudWatchからのトレース収集と採点を自動処理するとされています。

現時点で不明な点

記事で具体的に説明されているのはGitHub Actionsを前提とした構成です。長期クレデンシャルを保存せずOIDCフェデレーションでIAMロールを引き受ける点が要点ですが、GitHub Actions以外のCIツールでの手順は示されていません。

また、料金やリージョン展開に関する記載はありません。参照実装リポジトリの全体像についても、確認できる範囲ではCDKスタックの説明が途中までとなっており、細部はリポジトリ側で確認する必要があります。

評価スコアのしきい値については、1.0のうち0.8といった例が挙げられているものの、一律の推奨値は示されていません。記事は、まず方式Aで品質ゲートを動かし、その後方式Cに進んでPRのコード変更を実際に検証する流れを勧めています。