SageMaker Python SDK v3、LLM推論の最適化がノートブックで完結

発表の概要

Amazon Web Services（AWS）は、Amazon SageMaker Python SDK v3.17.0で、生成AI（LLM）の推論デプロイを最適化するための新機能を発表しました。この機能は、ノートブック上でエンドポイントのベンチマーク、デプロイ推奨の生成、その推奨構成での直接デプロイを可能にします。

従来、これらの操作はAmazon SageMaker StudioのUIやBoto3 APIを経由する必要がありましたが、今回のアップデートによりPython SDKの操作として統合されました。既存のノートブックやパイプラインのワークフローに自然に組み込めるのが特徴です。

対象となるパッケージはsagemaker.serve.ai_inference_recommenderで、バージョン3.17.0から利用できます。このパッケージには、generate_deployment_recommendationsやModelBuilder.from_recommendation_jobなど、一連の操作が含まれます。

ノートブックで完結するワークフロー

推論最適化の一連の流れは、ノートブック内で完結します。まずModelBuilder.from_jumpstart_configを使ってJumpStartモデルを準備し、generate_deployment_recommendationsを呼び出します。このAPIは、指定したインスタンスタイプやフレームワークの組み合わせを探索し、ワークロードに合わせた負荷テストを実行します。

その結果、コストと性能のトレードオフを考慮した推奨構成がランキング形式で返されます。最上位の構成はmb.deployでそのままエンドポイントとしてデプロイできます。さらにstart_benchmarkを使えば、デプロイしたエンドポイントに対して合成ワークロードで負荷テストを実施し、実際の性能を検証できます。

また、推奨ジョブを一度実行しておけば、後からModelBuilder.from_recommendation_jobを使って再開することも可能です。これにより、実験段階でデータサイエンティストが生成した推奨結果を、リリース時にMLOpsパイプラインがデプロイするといった分業もやりやすくなります。

推奨結果の読み方

推奨結果には、スループット、OutputTokenThroughput、リクエストレイテンシ、TimeToFirstToken（TTFT）、InterTokenLatencyなどのメトリクスが含まれます。これらはp50/p90/p99のパーセンタイルで表示され、それぞれの意味を理解して構成を選ぶことが重要です。

記事内の例では、ml.g6.2xlarge上でLMIコンテナのバージョンが異なる2つの構成が比較されていました。ランク0の構成は、リクエストスループットが平均で112.8リクエスト/秒、TTFTのp90が983ミリ秒と、ランク1の構成をすべての指標で上回っています。これは性能目標としてTTFTを優先する設定が反映された結果とみられます。

実際の選択では、チャットボットなどレイテンシ重視のアプリケーションならTTFTを、バッチ処理などスループット重視の業務なら処理量を優先するとよいとされています。複数のメトリクスを総合的に判断し、必要に応じてコストも考慮する必要があります。

別セッションからの再開と注意点

今回の機能は、推論エンドポイントの最適化を自動化する点で有用です。ただし、実際の性能はワークロードやモデルに依存するため、ベンチマークでは本番に近いトラフィックパターンで評価することが推奨されます。

また、事例としてLMIとvLLMの比較が挙げられていますが、特定のフレームワークやインスタンスタイプだけで判断するのではなく、複数の構成を試しながら最適な組み合わせを見つけるアプローチが有効です。