SageMaker AI、GPU管理なしで自前の学習ループを書けるAPIを発表

何が発表されたのか

AWSは2026年10月22日、Amazon SageMaker AIのサーバーレスなモデルカスタマイズ機能を広げる「training session API」を発表しました。従来のフルマネージドな微調整では、ベースモデルとデータ、ハイパーパラメータを渡せば学習手順はサービス側が持ちます。一方、管理の度合いが低いサービスでは自由度と引き換えに、インフラと学習フレームワークの面倒を利用者が見ることになります。今回のAPIは、この二択を解消するものだと説明されています。

特徴は、抽象化する対象をアルゴリズムから計算資源へ移した点です。forward_backward()、optim_step()、sample()といった操作がSageMakerのAPI呼び出しになり、利用者はそれらを組み合わせて、SFT（教師あり微調整）や選好最適化、強化学習などの手順を自分で書けます。呼び出し先は、選んだベースモデルとLoRAアダプタがGPUに読み込まれたままのステートフルなセッションです。実行環境の準備、分散実行、勾配同期、障害復旧、テナント分離はサービス側が担います。

3つのクライアントと非同期呼び出し

APIはSageMaker Python SDKの3つのクライアントで構成され、順番に生成します。ServiceClientは実行ロール、モデルパッケージグループ、Amazon S3の出力先といったプラットフォーム設定を保持し、任意でAWS KMSキーやVPC設定も指定できます。ServiceClientからTrainingClientが作られ、forward、forward_backward、optim_step、save_weights_for_samplerといった学習とチェックポイントの操作を提供します。さらにTrainingClientからSamplingClientが作られ、sampleとcompute_logprobsで生成とスコアリングを担当します。

GPUを使う呼び出しはAPIFutureを即座に返し、バックグラウンドで送信された後に.result()で結果を待つ仕組みです。有効なセッションはOpenAI互換のchat completionsエンドポイントも提供するため、既存のOpenAI向けクライアントコードからサンプリングできます。

GSM8Kで見る強化学習ループ

原文では、約8,500問の小学校算数の文章題ベンチマークであるGSM8Kを使った最小構成の強化学習ループが解説されています。対象はOpenAIのGPT-OSS 20Bで、LoRAアダプタをrank=32、alpha=64で学習し、GRPO（Group Relative Policy Optimization）を適用します。各質問に対してモデルが複数の回答を生成し、正誤でスコアを与え、グループ平均を上回った回答を強化する流れです。

1ステップは4段階で進みます。まずGPU側で現行モデルから回答をサンプリングし、次にローカルのPythonコードが報酬関数や検証ツールでスコアを付けます。続いてforward_backwardとoptim_stepがスコアを勾配更新に変換し、最後にsave_weights_and_get_sampling_client()でサンプラーを更新します。SFTの場合はサンプリングと報酬の段階を省き、ラベル付きデータに対するcross_entropy損失でforward_backwardを呼ぶ形になります。

あわせて、SFTとRLのすぐに実行できるレシピを集めた「SageMaker training sessions cookbook」も公開されました。原文では、競技プログラミングの問題に対して生成コードをユニットテストで採点する実践的なワークロードも紹介されています。

課金と既存選択肢との位置づけ

課金は処理したトークン単位で、ループが消費した計算分だけが請求されます。報酬関数の計算にローカルで10秒かかっても、その間のGPU時間は課金されません。時間単位のGPU課金と比べると、アイドル状態のGPUコストが発生せず、コストが実時間やクラスタサイズではなくデータセットと生成量に比例するため、支出を予測しやすく実験の比較もしやすいと説明されています。

SageMaker AIのモデルカスタマイズ手段の中では、フルマネージドのServerless Model Customizationよりアルゴリズムを細かく制御でき、SageMaker Training JobsやAmazon SageMaker HyperPodで学習するより運用上の負担が小さい位置づけです。想定読者として、GRPOやPPOなどのRL手法を実装する研究者、非標準の損失やデータカリキュラムを必要とするSFT・選好最適化のチーム、独自のロールアウトが必要なエージェント型RLの構築者、設定ファイル駆動の微調整では足りなくなったMLエンジニアが挙げられています。

現時点で分かっていないこと

対応するベースモデルと、それぞれを利用できるAWSリージョンはドキュメントに記載されているとされるものの、原文には一覧が示されていません。料金の単価や最低利用額についても記述がなく、コストの具体的な水準は現時点では判断できません。

また原文は、ループを成立させている3つの詳細を説明する部分で途切れています。非同期呼び出しの挙動やバッチ送信の仕組みについては、原文だけでは全体像を確認できません。導入を検討する場合は、ドキュメントとcookbookのコードを直接確認する必要があります。