
- SageMaker AIに新リソース「推論ルーター」、複数リージョン・アカウントを1つの呼び出し経路に
- ヘルススコアから正常・過負荷・劣化の3状態を判定し、Amazon CloudWatchに公開
- フェイルオーバーの閾値とタイミングはAWS側が管理し、利用者の調整は不要
発表の内容
AWSはブログで、Amazon SageMaker AIのクロスリージョン推論ルーティングを発表しました。複数のAWSリージョンでモデルを提供する構成は高可用な推論の定石とされてきた一方、運用は難しく、SageMaker AIのマネージドエンドポイントではクロスリージョンのルーティングを利用者が自前で作る必要がありました。
新しく追加されたのは「推論ルーター」というリージョン単位のリソースです。利用者はモデルを提供するエンドポイントや推論コンポーネントを「宛先」として登録し、アプリケーションは特定のエンドポイントではなくルーターを呼び出します。ルーターは自リージョンの宛先が正常な間はリクエストをそこに留め、正常に処理できない場合に別の登録済み宛先へ新規リクエストを移し、復旧後は段階的に戻します。
ルーター上では、1つの論理モデルを表す「ルーティングターゲット」を複数持てます。フェイルオーバーはルーティングターゲットごとに独立して動くため、1つのルーターで多数のモデルを扱えます。宛先はARN(AWSリソースを一意に識別する文字列)で指定し、そのARNからルーターがリージョンとアカウントを判断します。
ルーティングの判定方法
ルーターは、ルーティングターゲットに登録され、かつ呼び出し権限がある宛先だけを対象にします。その中で自リージョンの宛先を優先し、正常なローカル宛先が複数あればリクエストを均等に分散します。リクエストがリージョン外に出るのは、ローカルの宛先が確実に処理できない場合だけです。
判断材料は、宛先自身のリージョンで測定された直近のリクエスト結果から算出するヘルススコアです。サーバーエラー(5xx)、スロットリング、タイムアウトはスコアを下げ、SageMaker AIプラットフォーム側のエラーは最も大きく下げます。入力不正などリクエスト自体に起因するエラーは、どのリージョンでも同じ結果になるためスコアを下げません。モデルのレイテンシは入力に含まれないため、成功応答を返し続けるエンドポイントはトラフィックを維持します。
各宛先の状態は、正常(healthy)・過負荷(overloaded)・劣化(degraded)の3つとしてAmazon CloudWatchに公開されます。フェイルオーバーの閾値とタイミングはSageMaker AI側が管理するため、利用者が調整する必要はありません。遠隔地の宛先のヘルス情報が古くなった場合は、ルーターは自リージョンにトラフィックを留めます。監視の空白が原因でトラフィックが動くことはない設計です。
再試行と復旧の挙動
トラフィックの移動は、エラーが継続してから約1分で始まります。トラフィックが少ない宛先ではより長くかかる場合があります。リージョン外に出たトラフィックは、正常な遠隔宛先へヘルスに応じた比率で分散されますが、重みやフェイルバックの順序は指定できません。復旧後は移動よりゆっくりと、数分かけて戻ります。処理中のリクエストが中断されることはないとされています。
再試行の扱いも決まっています。モデルを実行せずに失敗したリアルタイムリクエストは、別の宛先で1回だけ再試行されます。対象になるのは、スロットリング、503エラー、モデル未準備、クロスリージョンのトラフィック上限による拒否、宛先によるアクセス拒否などです。タイムアウト、500エラー、モデル自体のエラーは再試行されません。非同期リクエストでは、ローカル宛先を優先しつつ、受け付けるまで各宛先を1回ずつ試します。
アカウントをまたぐ構成
宛先がルーターと別のアカウントにある場合、両方のアカウントで許可が必要です。エンドポイント側の所有者はリソースベースポリシーを付け、ルーターのアカウントからの呼び出しを許可します。このとき sagemaker:SourceInferenceRouterArn 条件キーを使うと、アクセスを特定の名前のルーター1つに限定できます。
原文のポリシー例では、2つ目のステートメントでルーターのアカウントにエンドポイントのステータス読み取りを許可しています。この記述がないと、宛先のステータスが不明(unknown)として表示されます。ルーターのアカウント側では、呼び出し元にルーターへの sagemaker:InvokeInferenceRouter と、各宛先への sagemaker:InvokeEndpoint の権限が必要です。ルーターが呼び出し元の代わりに各宛先を呼ぶためで、ルーター経由で直接呼べないエンドポイントへのアクセスが増えることはないと説明されています。
受ける側のエンドポイントは、任意でクロスリージョンのトラフィック上限を設定できます。他リージョンからのオーバーフローに使わせる容量の割合を所有者が決められ、残りはそのエンドポイントのローカル呼び出し元に確保されます。既定ではクロスリージョンのトラフィックを無制限に受け入れるため、設定しない場合はオーバーフローでスロットリングに押し込まれる可能性があります。
現時点の注意点
ルーターはキャパシティを作りません。エンドポイントのスケーリング、モデルのデプロイ、モデルアーティファクトやコンテナイメージのコピーも行いません。各宛先は、そのリージョンで既に稼働している必要があります。容量不足そのものを解消する機能ではなく、空いている容量へリクエストを回す機能だと理解しておく必要があります。
原文はモニタリング、各種上限、料金についても触れると予告していますが、提供された範囲では金額や上限値の記載が確認できません。料金体系や、どのリージョンで利用できるかは、別途AWSのドキュメントで確認する必要があります。
| 状態 | 意味 | ルーターの挙動 |
|---|---|---|
| 正常(healthy) | 正常に応答している | 通常どおり配信する |
| 過負荷(overloaded) | 応答はするが過負荷 | 一部のトラフィックを他の宛先へ移す |
| 劣化(degraded) | 失敗中、または配信できない | 大部分を他へ移し、少量は復旧検知用に残す |
The router keeps requests in its own Region while the local destination is healthy, shifts new requests to another registered destination when it isn't, and returns traffic gradually after recovery.
ルーターは、ローカルの宛先が正常な間はリクエストを自リージョンに留め、そうでない場合は新規リクエストを別の登録済み宛先へ移し、復旧後はトラフィックを段階的に戻します。
今後の見通し
今回の発表は、マルチリージョン推論の定石をマネージド機能に取り込む動きと位置づけられます。ただし原文が予告する料金体系、各種上限、モニタリングの詳細は提供された範囲では確認できず、実運用のコスト判断には情報が足りません。今後、ルーター自体の課金単位やリージョンごとの提供状況、非同期呼び出しの制約が明らかになれば、自前のフェイルオーバー実装を置き換えるかどうかを判断できるとみられます。GPU容量が逼迫する時間帯が限られるワークロードでは、効果が出やすいと考えられます。
日本の開発者・IT企業にとっての意味
日本のIT企業にとっては、GPUインスタンスを確保しにくい時間帯に、別リージョンへ処理を逃がす仕組みを自前で保守する負担を減らせる可能性があります。これまではエンドポイントの異常検知、再試行してよいエラーかの判別、復旧後の段階的な切り戻し、別アカウントのエンドポイントへの権限管理を、各チームがリクエストのクリティカルパス上に実装していました。ルーターはこの判断をマネージド側に寄せ、InvokeEndpointの直接呼び出しも残すため、段階的な導入がしやすい形です。一方で、ルーターはキャパシティを増やさないため、受け側リージョンのautoscaling設計やクロスリージョンのトラフィック上限の設定は引き続き利用者の責務になります。レイテンシ要件が厳しいアプリでは、リージョン間の往復を許容できるかを先に検証する必要があります。
気になる点
- 既存のInvokeEndpoint呼び出しは書き換えが必要ですか
- 不要とされています。原文では、エンドポイントはこれまでと同じモデル・設定・インスタンスプール・autoscalingでデプロイでき、InvokeEndpointの直接呼び出しもそのまま動作すると説明されています。ルーター経由にしたい場合だけ、呼び出し先をルーターに切り替える形になります。
- 日本リージョンを含む構成でも使えますか
- 原文には対応リージョンの一覧が示されておらず、日本リージョンが使えるかは判断できません。例として挙がっているのはUS East (Ohio)とUS West (Oregon)です。提供状況はAWSのドキュメントで確認する必要があります。
- 料金はかかりますか
- 原文は料金について触れると予告していますが、提供された範囲には金額や課金単位の記載がありません。現時点では公表されていないとみられ、ルーター経由の呼び出しに追加料金がかかるかは不明です。
用語解説
- 推論ルーター(inference router)
- アカウント内に作成するリージョン単位のSageMaker AIリソース。アプリはエンドポイントではなくこれを呼び出す。
- ルーティングターゲット
- ルーター上で1つの論理モデルを表す名前。ルーターは複数持て、それぞれ独立にフェイルオーバーする。
- 宛先(destination)
- ルーティングターゲットに登録するエンドポイント、推論コンポーネント、非同期エンドポイント。ARNでリージョンとアカウントが決まる。
- ヘルススコア
- 直近のリクエスト結果から宛先ごとに算出される健全性の指標。5xx、スロットリング、タイムアウトで下がる。
- クロスリージョンTraffic cap
- 他リージョンからのオーバーフローに使わせる容量の上限。エンドポイント所有者が任意で設定する。
- ARN
- AWSリソースを一意に識別する文字列。ここでは宛先のリージョンとアカウントの特定に使われる。
出典
Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する