潜在空間で考えテキストで行動するLLMエージェント、性能10.4%向上を報告

何が発表されたのか

論文「Hybrid Reasoning Agents」は、人間の言語の外側で考える能力と、言語を通じて外部環境で行動する能力を両立させるエージェントの設計を提案しています。現代のLLMエージェントはテキストで推論し、テキストで外界とやり取りします。一方、潜在空間(テキストに変換しない内部表現)での推論は効率的であるものの、ツールへの直接アクセスや推論の透明性に欠けると論文は指摘しています。

HybridAgentsは、この2つの方向を1つの生成プロセスの中で行き来する仕組みです。テキストモードと潜在モードの切り替えを軽量なHybridLinkが担い、連続的なワーキングメモリが複数ターンにわたってハイブリッドな文脈をロスレスに保持するとしています。論文はコードとデータを公開していると述べています。

HybridLinkと検査可能性

HybridLinkは、テキストと潜在モードの間の遷移をシームレスに行うための軽量なコンポーネントと説明されています。エージェントは生成の途中で、言語として書き出すか、内部の潜在表現のまま考えるかを動的に選べる形になります。

注目されるのは、潜在的な思考を直接検査できるとしている点です。従来の潜在推論は内部で何が起きているか見えにくいという課題がありましたが、テキストとの統一的な扱いにより、ツール連携を保ったまま推論過程を観察できると論じています。

専用の学習アルゴリズム

アーキテクチャに加えて、ハイブリッド推論のための事後学習アルゴリズムを2つ提案しています。HybridSFTは、基盤モデルがHybridLinkと協調することを学ばせ、ツール連携を伴うハイブリッド生成を安定させるための教師あり微調整です。

HybridRLは、いつ潜在空間で考え、いつテキストで行動するかを学習することで推論をスケールさせる強化学習の手法と位置づけられています。モードの選択そのものを学習対象にしている点が特徴とみられます。

評価結果と未公開の点

評価は3つのモデル規模、11のベンチマークで行われています。対象領域は数学、科学、医学、検索、エージェント推論に及びます。テキスト型・潜在型の両方を含むフロンティアのLLMエージェントやエージェントフレームワークと比較して、性能が10.4%向上したと報告されています。

効率面では、トークン使用量が35.5%〜54.7%削減、推論速度が1.8倍〜2.6倍、コストが2.7倍〜3.7倍の削減と記載されています。ただしアブストラクトには、ベースとなるモデルの種類やパラメータ数、ベンチマークの内訳、ライセンス条件は示されていません。導入を判断するには本文の確認が必要です。