NVIDIA、Nemotron 3.5 LightningとNeMo Switchyardを公開

AIエージェント向けの新製品

AIの活用がチャットボットから自律エージェントへ移行する中、モデルの実行場所や運用を制御できるオープンモデルへの需要が高まっています。NVIDIAはこの動きに応えるため、Nemotron 3モデルファミリーを拡張し、エージェントAI向けに特化したNemotron 3.5 Lightningを公開しました。同時に、複数のモデルを効率的に使い分けるためのライブラリであるNeMo Switchyardもリリースしています。両製品ともオープンな形で提供され、企業は自社の要件に合わせてカスタマイズできます。

Nemotron 3.5 Lightningは、単体で動くチャットモデルというより、大規模なマルチエージェントシステムの中の特定タスクを担当するために設計されています。例えば、全体の計画を立案する推論モデルと組み合わせ、コードレビューやセキュリティ監視といった高頻度の処理を担います。

Nemotron 3.5 Lightningの特長

Nemotron 3.5 Lightningは、300億パラメータの混合専門家（MoE）モデルです。同社によると、同クラスのモデルと比較して出力速度が最大4倍、エージェントタスクの完了時間が30%短縮されます。また、NVIDIA NeMoを使って自社のドメインデータやツールで追加学習できるため、専門的な精度を高められます。

プライバシーや配備の観点では、NVIDIA RTX PCやDGX Spark、DGX Station、Jetsonなどのローカル環境で動作するのが特徴です。これにより、既存のインフラ投資を活かしながら、高頻度のタスクを高速に処理できます。サイバーセキュリティのCrowdStrikeや法務のHarvey、コードレビューのCodeRabbitなどが採用を進めているとしています。

NeMo Switchyardが実現すること

NeMo Switchyardは、AIエージェントのワークフロー内で、各ステップに最適なモデルへプロンプトを自動的にルーティングするオープンソースライブラリです。単一のモデルに依存すると過剰なコストや品質低下が起きる一方、手動の振り分けは統合作業の負担になります。このライブラリを使えば、品質・遅延・コストの優先順位に応じてルーティングアルゴリズムを調整できます。

同社の内部ベンチマークによると、NeMo Switchyardは最前線モデルに近い精度を保ちながら、タスク完了コストをOpus 4.8単独利用時の約3分の1に削減します。パートナー事例では、Boomiがドメインルーティング精度100%、トラフィックの59%を5倍高速なファインチューニングモデルへ振り分け、後続ターンの遅延を21%削減。LangChainは145回のマルチターンタスクでコストを74%削減し、精度の低下は6%にとどめています。

提供形態と今後の課題

Nemotron 3.5 Lightningは、Hugging FaceやModelScope、OpenRouter、build.nvidia.comで提供され、NIMマイクロサービスとしても利用できます。NeMo SwitchyardはGitHubで公開され、今後さまざまなパートナー製品への搭載が予定されています。NVIDIAはまた、学習に使われたデータや手法もライセンスの許す範囲で公開し、トレーサビリティと監査を可能にしています。

ただし、発表時点での性能は内部ベンチマークや一部パートナーによる検証結果に基づいており、実際の運用効果は各社のワークロードに依存します。特に、Switchyardのルーティング精度とモデル組み合わせの最適化は、導入後に調整が必要になる場合があります。オープンモデルとしてのライセンスや、セキュリティ上の考慮も事前に確認することが重要です。