- 30B中3Bのみ活性化するMoEで高スループットを実現
- 最大4倍のスループット、30%速いタスク完了を達成
- SageMaker JumpStartから簡単デプロイ、NeMoで追加学習も可能
発表の概要
Amazon Web Servicesは2026年8月17日、NVIDIA Nemotron 3.5 LightningがAmazon SageMaker JumpStartで利用可能になったと発表した。このモデルは、エージェント型AIのワークロード向けに設計されたオープンモデルである。
SageMaker JumpStartを使えば、ユーザーは推論サーバーの構築や設定を行うことなく、モデルをデプロイできる。エージェントが常時稼働するような「高頻度の専門的な処理」を高速に実行することを目的としている。
技術的な特徴
Nemotron 3.5 Lightningは、NVIDIAのフロンティアモデル「Nemotron 3 Ultra」から蒸留された公開モデルで、Nemotron Coalitionによって開発された。ハイブリッドなMixture-of-Experts（MoE）アーキテクチャを採用し、30Bのパラメータのうち3Bだけを活性化する。
DFlash投機的復号によりトークン生成のレイテンシを削減し、100万トークンのコンテキストウィンドウにより長時間のセッションでも状態を保持できる。オープンデータセットで訓練され、オープンモデルとして公開されているため、カスタマイズして生成された重みを所有できる。
エージェント向けの位置づけ
すべてのエージェントのステップがフロンティアモデルを必要とするわけではない。複雑な計画やサブエージェントの調整には高い推論能力が求められる一方、アラートの分類やフォームからのフィールド抽出などは、より小さな専門モデルで十分な場合が多い。
Lightningは、こうしたシステム・オブ・モデルズにおける高頻度処理の部分を担う。MoEによる高速な推論と長いコンテキストで、エージェントワークフローの全体効率を高める。
ベンチマークとカスタマイズ
NVIDIAの発表によれば、NVFP4量子化版は多くのタスクでBF16に近い精度を維持するという。評価結果の再現手順はNeMo Gymで公開されており、同じハーネスで測定されたものだ。
カスタマイズについては、NVIDIA NeMoを使った追加学習でドメイン固有のツールやポリシーに対応できる。ただし、今回のSageMaker JumpStartのモデルカードではJumpStartでのカスタマイズ機能は公開されていない。
ユースケースとして、個人向けエージェント、金融サービス、サイバーセキュリティ、通信、小売などが挙げられている。
| 方法 | 操作 | 特徴 |
|---|---|---|
| SageMaker Studio | GUIでモデルカードから選択 | ノーコードでデプロイ可能 |
| Hugging Face | モデルページのDeployを選択 | SageMaker AIのデプロイワークフローに遷移 |
| Python SDK | JumpStartModelでコード実行 | 既存のコードから自動デプロイ |
Not every agent step needs a frontier model.
すべてのエージェントのステップにフロンティアモデルが必要なわけではない。
今後の見通し
今後、NVFP4版の実運用時の精度やスループットがコミュニティで検証されれば、BF16版との使い分けの判断材料が増えるとみられる。また、SageMaker JumpStartのモデルカードでカスタマイズ機能が提供されるかどうかも注目点だ。エージェント向けの小規模・高速モデルがどの程度普及するかは、実際のワークロードでのコスト削減効果が明らかになるにつれて見えてくるだろう。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、エージェント型AIの実運用コストは大きな課題です。今回のNemotron 3.5 Lightningは、30Bパラメータ中3Bだけを活性化するMoEにより、単一のGPUで動作し、フロンティアスケールのインフラを必要としません。常時稼働するエージェントの定型処理を高速に処理できるため、クラウドコストの削減につながる可能性があります。またオープンモデルであるため、社内データで追加学習し、自社のドメインに特化させたモデルを所有できます。SageMaker JumpStartからすぐに試せる点も、AWS上の既存システムとの統合を進めやすいメリットと言えます。
気になる点
- SageMaker JumpStartでのデプロイには何が必要ですか？
- AWSアカウントとSageMaker JumpStartへのアクセス権限、GPUインスタンスのサービス割り当てが必要です。例としてml.g6e.12xlargeやml.p4d.24xlargeなどが挙げられています。
- Nemotron 3.5 Lightningはカスタマイズ可能ですか？
- NVIDIA NeMoを使った追加学習により、ドメイン固有のツールやポリシーに対応できます。ただし、今回のモデルカードではSageMaker JumpStartのカスタマイズ機能は公開されていません。
- 利用時の料金はどうなりますか？
- SageMaker AIエンドポイントの実行中は料金が発生します。利用後はエンドポイントを削除して追加費用を避けることが推奨されています。具体的な料金はAmazon SageMaker AIの料金ページで確認する必要があります。
用語解説
- MoE (Mixture of Experts)
- 入力に応じて一部の専門化されたサブモデルだけを活性化する方式。計算量を減らしつつモデル全体の容量を大きくできる。
- 投機的復号 (Speculative Decoding)
- 小さなモデルで複数のトークンを先回りして生成し、大きなモデルで検証することで生成を高速化する技術。
- NVFP4
- NVIDIAが提案する4ビット浮動小数点形式。量子化によりメモリ使用量を減らし、BF16と近い精度を保つとされる。
- SageMaker JumpStart
- AWSが提供する、機械学習モデルの発見とデプロイを簡単に行える機能。数クリックで利用可能。
- エージェント型AI
- ユーザーの代わりにタスクを実行するAI。ツールを使い、環境を観察しながら自律的に動作する。
出典
NVIDIA Nemotron 3.5 Lightning now available in Amazon SageMaker JumpStart
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する