Amazon Bedrock、Claude向け構造化出力でJSONスキーマ準拠を保証

何が発表されたか

AWSは、Amazon Bedrock上でAnthropicのClaudeモデルを利用する際に、構造化出力（Structured outputs）を全モデルで使えるようにしたと発表しました。対象はbedrock-runtimeとbedrock-mantleの両エンドポイントで、モデルが利用可能なリージョンが対象とされています。Boto3経由でもMessages API経由でも、あらかじめ定義したJSONスキーマに適合するJSON応答を受け取れるようになります。

これまではJSON形式で返すよう指示しても、出力が崩れた場合に備えてパース処理やリトライ、後処理を実装する必要がありました。構造化出力では、そうした追加コードが不要になるとしています。AWSは用途として、決算資料やコンプライアンス文書からの項目抽出、臨床メモの電子カルテ（EHR）への変換、商品カタログの整備、契約書の解析、サポートチケットの振り分けなどを挙げています。

生成時にスキーマを強制

構造化出力の中心にあるのは、制約付きデコーディング（constrained decoding）と呼ばれる手法です。モデルがトークンを生成する各段階でスキーマに違反する候補を排除するため、生成後に検証するのではなく、そもそも違反する出力が生成されません。AWSはこれを、出力形式が「確率的から決定的に変わる」と説明しています。

処理は4段階で進みます。まずBedrockがスキーマをJSON Schema Draft 2020-12のサポート対象サブセットに照らして検証し、新しいスキーマであれば文法（grammar）をコンパイルします。コンパイル結果はアカウント単位で24時間キャッシュされ、同じスキーマを使う2回目以降のリクエストは最小限のオーバーヘッドで実行できます。

フィールドの型は強制され、必須フィールドは必ず含まれます。加えて、スキーマに定義したフィールドだけが出力されるため出力トークン数が減り、大量のリクエストを処理するワークロードでは推論コストの低減につながる可能性があるとしています。

2つのエンドポイント

bedrock-runtimeではInvokeModel APIを使い、Anthropicネイティブのリクエストボディにoutput_config.formatとしてスキーマをJSONオブジェクトで渡します。バッチ推論に対応し、bedrock-runtimeではクロスリージョン推論も追加設定なしで使えるとされています。リアルタイム用途では、構造化された応答を型付きイベントとしてストリーミングできます。

bedrock-mantleは、サーバー側ツールやバックグラウンド推論、状態を持つ会話などエージェント用途を想定したエンドポイントです。こちらではツール定義にstrict: trueを付けることで、ツールの引数が入力スキーマに完全に一致することが保証されます。モデルがスキーマ外のフィールドを追加できないため、多段のエージェント処理で入力不正による失敗を抑えられます。

実装時の注意点

スキーマには守るべき条件があります。すべてのオブジェクトにadditionalProperties: falseを指定しないと、スキーマが受け付けられません。フィールド名と説明は具体的に書き、値の候補が限られる場合はenumで制約することが推奨されています。まずは最小限の必須フィールドから始め、段階的に複雑さを加える方が、コンパイルが速くデバッグも容易だとしています。

スキーマの構造を変えるとキャッシュが無効になり、再コンパイルが発生します。名前や説明だけの変更であればキャッシュは維持されます。また、応答がスキーマに従わないケースとして、安全性の理由による拒否（refusal）とmax_tokensへの到達の2つが挙げられており、どちらもstop_reasonを確認して処理する必要があります。