Echoverse：高忠実度の合成環境でAIエージェントの操作能力を大幅向上

発表の概要

マイクロソフトは、コンピュータ操作エージェントを訓練するための合成環境「Echoverse」を公開した。この環境は10のドメイン世界と2の能力世界からなる12の訓練世界で構成される。さらに、内部の実装の一部として4つの世界がコードとデータ、検証器とともにGitHubとHugging Faceで公開されている。

発表によると、9Bパラメータのモデルを12世界すべてで訓練すると、ベースラインの36.5%から67.1%へとスコアがほぼ倍増し、GPT-5.4との差は14ポイントまで縮まったという。この結果は、合成環境の質と量がエージェントの性能を左右することを示している。

「深い」環境の設計思想

Echoverseでは、環境の数ではなく「深さ」を重視する。深い世界とは、アプリケーションの実際の動作を忠実に再現し、画面やユーザーをまたいで状態が一貫し、ワークフロー全体を保持していることを指す。たとえば、予約が完了すれば在庫や支払い状態が更新される、といった因果構造が再現されている。

研究者らは、同じサイトの浅いバージョンと深いバージョンで訓練を比較したところ、浅い世界ではモデルが悪化し、深い世界では改善したと報告している。検証はスクリーンショットではなく、アプリのデータベースの状態変化で行われるため、エージェントが見た目で誤魔化すことが難しくなっている。

能力世界と共進化

Echoverseには、特定のUI操作を集中的に訓練する「能力世界」が含まれる。日付ピッカーやネストされたフィルターのように、多くのエージェントが苦手とする操作を、多様なレイアウトや状態で大量生成する。これにより、訓練中に一度も登場しないドメインでも、その操作を使いこなせるようになるという。

また、モデルを実行して失敗した箇所を特定し、環境・タスク・検証器を改善する「共進化」ループを採用する。通常のファインチューニングがモデルだけを改善するのに対し、Echoverseでは評価のたびに環境自体もバージョンアップされる。強化学習では、データベースに基づく検証器を報酬として使い、より少ないステップで目標を達成するよう学習する。

既存手法との違いと課題

オープンでログイン不要のウェブサイトは、一見合成環境を不要に思わせるが、ページが変更されたりアクセス制限されたりするため、訓練には不安定だ。合成環境は時間とデータが固定されており、同じタスクを繰り返し実行できる点が強みとなる。ただし、合成環境が実システムの複雑さをどこまで再現できるかは未知数である。

現在公開されているのは4つの世界だけであり、残りの世界の詳細は明らかにされていない。クローズドな内部システムの再現には独自データの生成が必要で、その現実味とテストの網羅性には今後の検証が求められる。それでも、9Bモデルでの大幅な性能向上は、小規模モデルの実用化を後押しする成果と言える。