SalesforceがSageMaker ICの配置制御でMulti-AZ高可用性を実現

背景と課題

SalesforceはAIエージェント基盤であるAgentforceのために、Amazon SageMaker AIのInference Components（IC）を利用しています。ICは複数のモデルを共有GPU上に配置することで、インフラストラクチャコストを8倍削減できる機能です。しかし、デフォルトの配置アルゴリズムは各配置操作を独立に最適化するため、AZをまたいだバランスを考慮しませんでした。その結果、特定のモデルが一つのAZに集中し、単一障害点が生じるリスクがありました。

Salesforceは全ての本番モデルに対して2つのAZでのサポートを社内コンプライアンス要件としており、このままでは要件を満たせませんでした。そこでAWSは、CreateInferenceComponent APIにSchedulingConfigパラメータを追加し、ICコピーの配置を細かく制御できるようにしました。

SchedulingConfigの仕組み

SchedulingConfigには、AZ間の分布を制御するAvailabilityZoneBalanceと、各AZ内のインスタンス配置を指定するPlacementStrategyの2つのサブパラメータがあります。AvailabilityZoneBalanceは、AZ間でコピーを均等に分散し、MaxImbalanceで許容できる不均衡量を設定します。PlacementStrategyは、SPREADとBINPACKの2つから選択でき、SPREADはできるだけ多くのインスタンスに分散させて障害の影響を隔離し、BINPACKは少数のインスタンスにまとめてGPU利用効率を高めます。

例えば、2つのAZにそれぞれ2つのインスタンスがある環境で、4つのICコピーをSPREADで配置する場合、AZごとに2コピーずつ配置されます。MaxImbalanceを1に設定すると、AZ間のコピー数の差は最大1つまで許容されます。軽量なモデルで2コピーだけを配置する場合は、MaxImbalanceを0にすることで、厳密に1コピーずつに分けることも可能です。

スケーリングとリバランス

スケールアウト時には、SageMakerは設定されたSchedulingConfigに従ってAZのバランスを保つように新しいコピーを配置します。スケールイン時には、AZ間で対称にコピーを削除します。ただし、CopyCountを1に設定すると、単一のAZにしか配置されず、2-AZコンプライアンスを即座に破るため、高可用性が重要なモデルでは避けるべきです。

長期的な運用では、スケールインとスケールアウトを繰り返すと配置の偏りが生じることがあります。このため、エンドポイントのScaleInPolicyにCONSOLIDATION戦略を設定すると、バックグラウンドのプロセスが定期的にICコピーを再配置し、AZバランスを保ちながらアイドル状態のインスタンスを解放します。

実装上の考慮点と監視

AZバランスの取れた配置を確実にするには、オンデマンド容量予約（ODCR）を利用することが推奨されます。Salesforceは各AZにGPU容量を事前予約しています。一方、配置アルゴリズムは部分配置をサポートしており、容量制約で完全なバランスが取れない場合でも、利用可能なインスタンスに配置します。ただし、その場合はバランスが最適でなくなることがあります。

SageMaker AI Insightsを使用すると、AZスキューやICコピー数などのメトリクスから配置の健全性を監視できます。これにより、スケーリングイベント後にバランスが崩れた場合も検出しやすくなります。AWSは今後、この監視機能に関する詳細なブログを公開する予定です。

Salesforceの成果

SalesforceはこのIC配置機能を導入したことで、全モデルにおいて2-AZサポートを満たすことができました。また、単一のインスタンス障害やAZ障害でモデルが完全に停止するリスクを排除しました。コスト削減効果は維持され、SPREAD配置によりインスタンス間のフォールトアイソレーションを最大限に高めています。

さらに、スケールイン・スケールアウト運用でもMulti-AZ配置が維持されるため、継続的な高可用性が確保できます。この事例は、SageMaker AIを利用する他の企業にとっても、コスト効率と高可用性を両立するための参考になるでしょう。