SageMaker HyperPodがRayを統合、分散学習の運用負荷を軽減

発表の概要

AWSは2026年8月24日、Amazon SageMaker HyperPodでRayの新機能を発表しました。RayはPythonの分散ワークロードをGPUクラスタで実行するためのオープンソースフレームワークで、分散学習とモデル推論の両方に対応します。HyperPodはEKS上で大規模なML基盤を提供し、ノード監視と自動回復を備えています。今回の統合により、Rayのクラスタ管理と運用の多くがSageMaker Studioから行えるようになります。

従来はKubernetes上でRayを動かす際、YAMLマニフェストの記述やDockerイメージの再ビルド、kubectl port-forwardによるダッシュボードへの接続、PrometheusとGrafanaの手動設定が必要でした。新しい機能では、Rayクラスタの作成、ダッシュボードやGrafanaへのアクセス、JupyterLabやCode Editorのワークスペース接続、分散ジョブの投入、ハングしたジョブの検出がすべてSageMaker Studioから可能になります。標準のRay APIとオープンソースのKubeRayが使えるため、既存のスクリプトは変更せずに動作します。

Studioから完結するRay運用

SageMaker StudioのHyperPodコンソールでは、RayClusterの一覧が表示され、ステータスやインスタンスタイプ、利用可能なアクションを確認できます。新しいクラスタを作成する際は、クラスタ名、ヘッドとワーカーのインスタンスタイプ、ワーカー数、コンテナイメージを指定します。デフォルトではSageMaker Distributionイメージが使われ、RayがプリインストールされてAWSがパッチ適用とアップグレードを管理します。カスタムイメージにも対応しており、追加の依存関係が必要なワークロードにも柔軟に対応できます。

リモートエンドポイントを有効にすると、Ray Dashboardを開いたり、ジョブを投入したり、ログを取得したりすることが、kubectl port-forwardなしで可能になります。生成されるURLはIAM認証付きの短時間有効なものとなり、クラスタ作成者にスコープされます。さらに、toolkit-for-ray-on-sagemaker-aiパッケージを使えば、Studioや手元のラップトップ、CI/CDパイプラインから標準のRayジョブAPIを使ってリモートジョブを投入できます。アドレス解決にはsagemaker_ray://プレフィックスを使用します。

SageMaker SpacesのJupyterLabやCode EditorをRayクラスタに接続することもできます。接続したスペースはゼロコンピュートワーカーとしてクラスタに参加し、ノートブックからRay Driverを直接利用できます。ray.init(address="auto")で接続し、ランタイムに依存関係を注入するruntime_envを使ってコンテナイメージの再ビルドなしで開発を進められます。例えば、1ワーカーでプロトタイプを動かし、ScalingConfigの1行を変更するだけで4つのGPUワーカーにスケールできます。

学習の信頼性を高める3つの仕組み

SageMaker HyperPodはRay学習ワークロード向けに3つの回復性の層を提供します。1つ目は自動ノード回復で、ノードのヘルスを継続的に監視し、故障したノードを自動で置き換えます。Rayは置き換えたノードにワーカーポッドを再スケジュールします。学習コードがチェックポイントを定期的に保存し、最新のチェックポイントから再開するロジックを持っていれば、ジョブは中断された場所から再開します。RayJobのFailureConfigで再試行回数を設定しておく必要があります。

2つ目はハングしたジョブの検出です。分散学習では、1つのポッドが失敗しても他のポッドが集合通信で待ち続け、エラーも出ずにGPUを占有する状態が発生し得ます。HyperPod EKSに含まれるJob Monitoring Agentが、ノードレベルとジョブレベルの複数のシグナルを監視して、トレーニングが停止したことを自動的に検出します。検出結果はCloudWatchロググループやRay TrainのGrafanaダッシュボードに通知されます。カスタム検出ルールをtoolkit-for-ray-on-sagemaker-aiライブラリで定義し、キャンセルアクションを設定すると、ハングしたワーカープロセスを終了し、Ray TrainのFailureConfigで最後のチェックポイントから再開します。

3つ目は階層型チェックポイントです。amzn-sagemaker-checkpointingライブラリがHyperPodの管理型階層ストレージと統合し、チェックポイントをローカルディスクに書き込み、非同期でS3にアップロードします。ジョブ再開時には、まずHyperPod Tiered Storageを確認し、チェックポイントが残っていればS3からリストアするよりも高速に復旧できます。大規模モデルでは回復時間の短縮につながります。

可観測性と推論の強化

HyperPod Observability EKS add-onは、Rayヘッドとワーカーポッドのメトリクスを自動検出して収集し、Amazon Managed Grafanaに4つのダッシュボード（Ray Core、Ray Data、Ray Train、Ray Serve）を用意します。これまでPodMonitorの作成やIAMロールの設定、ダッシュボードJSONの手動インポートが必要でしたが、その作業が不要になります。既存のHyperPodインフラダッシュボード（GPU、EFA、タスクガバナンス）と同一の場所で、Rayワークロードのメトリクスとクラスタの健全性を確認できます。

推論では、Ray ServeをHyperPod上で実行でき、vLLMなどのサービングエンジンと組み合わせて使用できます。SageMaker JumpStartの統合により、トレーニング済みモデルの重みをRay Serveエンドポイントに直接ロードできます。KVキャッシュのオフロードを階層ストレージに設定すれば、長いコンテキストのリクエストを処理する際のメモリ負荷を軽減できます。モデル重みのダウンロードもtoolkit-for-ray-on-sagemaker-aiライブラリのJumpStartモデルローダーで行えます。