「Agent Lightning v1.0」公開、実ハーネスで訓練できる軽量エージェントRL基盤

何が発表されたか

マイクロソフトの研究部門であるMicrosoft Research Asiaは、エージェント向け強化学習（RL）の新しい訓練パラダイム「Harnessed Agentic RL」を発表し、その実装となる「Agent Lightning v1.0」をオープンソースで公開しました。エージェントRLとは、AIエージェントが試行錯誤を通じて、行動への報酬と罰を手がかりに振る舞いを改善していく学習手法です。

従来の多くのエージェントRLシステムでは、展開（デプロイ）時に使うエージェントを訓練フレームワークの中で作り直す必要がありました。これはコストがかかるうえ、訓練されるエージェントと実際に動くエージェントの挙動が完全には一致しないという問題を伴います。v1.0は、この食い違いをなくすことを狙っています。

Harnessed Agentic RLの仕組み

Agent Lightningの特徴は、エージェントとモデルの間にLLMプロキシを置く点です。モデルAPIを呼んでいた接続先をAgent Lightningへ向けるだけで、訓練フレームワークがモデル呼び出しを観測・記録できるようになります。Harnessed Agentic RLでは、デプロイ時に使うハーネスをそのままRL訓練に参加させます。

ハーネスとは、モデルの外側で文脈管理やツール呼び出し、実行ロジックを担う部分です。mini-SWE-agent、OpenHands、OpenCode、Claude Code、Codexなどはそれぞれ独自のツールプロトコルや依存関係を持ちます。これらを訓練用に作り直す必要がなくなるとしています。

実ハーネス訓練の4つの課題

実ハーネスを訓練に使う場合、環境との対話ループを訓練フレームワークではなくハーネスが担うため、訓練側からはLLMのリクエストとレスポンスの組しか見えません。その結果、1回のロールアウト（一連の試行）が可変個の訓練サンプルに分割されることがあります。記事はこれに伴う4つの課題として、再トークン化とサンプル統合、アドバンテージ計算、損失の正規化、訓練バックエンドのスケジューリングを挙げています。

ハーネスは文脈をテキストで保持しますが、RL訓練にはロールアウト中にサンプリングされたトークンIDが必要で、テキストを再度トークナイザに通すとトークン境界がずれる可能性があります。またサンプル単位でアドバンテージを計算すると、サンプル数が多いロールアウトが重複して数えられ、損失の正規化もサンプル数に引きずられます。サンプル数や長さはハーネスが終わって初めて分かる一方、GPU数や並列構成は通常固定であり、可変の負荷を固定リソースへ割り当てる必要もあります。

軽量設計・Kubernetes・性能

Agent Lightning v1.0は、約3,500行のコードでエージェントRLの制御基盤を実装しています。構成はAPIゲートウェイ、ロールアウトコントローラ、カスタマイズ可能なトレーナーの3つで、トレーナーはverlを基盤にしています。APIゲートウェイはOpenAI互換のLLMプロキシとして動作し、さまざまなエージェントからのモデル呼び出しをロールアウトに紐づけて記録します。

エージェントは標準のKubernetesジョブとして実行でき、自前のクラスタやクラウドのKubernetes、ローカル環境を再利用できます。Modal SandboxやE2Bといった商用サンドボックスサービスに依存しないため、大規模なロールアウトでもコストを抑えられ、パイプライン全体をオープンソースかつ再現可能に保てるとしています。さらに、ロールアウトとモデル更新が同じGPUを共有する「Collocated Async RL」を導入し、同期RL比で約2倍のエンドツーエンド高速化を達成しつつ、従来の非同期RLより少ないGPUで済むと報告しています。

コーディングエージェントの訓練例では、SWE-smith、mini-SWE-agent、Qwen3.5-9Bを組み合わせ、データのクリーニングから環境構築、報酬ハッキング（報酬を不当に稼ぐ挙動）の防止、RL訓練までを含む一連のパイプラインを構築しました。学習セットは約6,000サンプルで大規模な計算は不要とされ、RL訓練だけでSWE-bench VerifiedのPass@1が41.8%から56.4%へ、14.6ポイント向上したと報告されています。ロールアウト単位のアドバンテージ計算と正規化は、サンプル単位の処理よりも検証報酬が高く、訓練中のポリシーエントロピーも安定するとしています。

分かっていないこと

一方、記事では学習データセットの詳細やライセンス条件、対応するモデルやハーネスの範囲、他ベンチマークでの結果などは明らかにされていません。3,500行という規模やオープンソースである点は利点ですが、どの程度の運用規模まで耐えられるかは今後の検証が必要とみられます。

商用サンドボックスサービスとのコスト差についても、具体的な金額は示されていません。Kubernetes上で動かす場合に必要なクラスタ規模や、訓練に要するGPU数・時間の数値も記事には記載がなく、実運用を見積もるには追加情報が求められます。