IBM、エージェントの再現性指標Pass^kを提案、一貫性ガイドラインでギャップを半減

何が発表されたのか

IBM Researchが公開したのは、エージェントの成功率の「ばらつき」を測り、減らすための仕組みだ。以前から提供していたALTK-Evolveは、エージェント自身の過去の実行履歴（軌跡）から再利用可能なガイドラインを自動で抽出し、推論時に注入するシステムである。今回そこに、新しいガイドライン種別「一貫性ガイドライン」と、それを導く診断ツール「Consistency Analyzer」が加わった。

背景にあるのは、ベンチマークの多くが報告する平均値では見えない問題だ。あるタスクが一度成功しても、同じリクエストで次は失敗する可能性がある。金融取引の突合や契約書の義務確認のような業務では、これがそのまま実運用の障壁になると筆者らは指摘する。技術レポートはarXivで公開されており、Consistency Analyzerと一貫性ガイドライン生成のコードはオープンソースのリポジトリに含まれると説明されている。

平均値が隠す「一貫性ギャップ」

標準的なエージェント評価はMean@k、つまりタスクをk回実行して通過率を平均する指標で行われる。よく使われるのはk=3、場合によってはk=1だ。一方で筆者らが重視するのはPass^kで、これはk回の実行すべてに成功したタスクの割合を指す。ユーザーが同じ質問をもう一度したときに同じ結果が得られるか、という問いに答えるのは後者になる。

AppWorldのtest_normal（168タスク）でGPT-4.1を使うReActエージェントを評価すると、Mean@5は77.4%だった。しかしPass^5は53.0%しかない。タスク側の条件が何も変わらないのに、解けたり解けなかったりするタスクがほぼ4分の1を占める計算で、筆者らはこの差（Mean@k − Pass^k）を一貫性ギャップと呼ぶ。難しいタスクではこの差が30ポイントに達するという。

筆者らは原因を、次のトークンに対する確率分布の「形」に求める。分布が尖っていれば同じ選択が繰り返されるが、平坦で複数の候補が僅差なら、わずかな揺らぎで結果が入れ替わる。GPUの浮動小数点演算やリクエストのバッチ処理といった影響でも順位が変わり得るため、温度0や固定シードでは抑えきれないと説明されている。検証ではReActエージェントを温度0.0で動かしており、観測された変動は通常のサンプリングによるものではないとしている。

診断してから直す仕組み

Consistency Analyzerは、記録済みの1本の軌跡を対象に、各決定ステップを制御しながら再サンプリングして、その時点でモデルの出力がどれだけ変わるかを測る。具体的には決定ステップごとに1回のモデル呼び出しを行い、k個の補完をまとめて取得する（既定はk=5）。すでに記録済みの文脈に対して行うため、新しいツール呼び出しや環境との再対話、タスク全体の再実行は不要だ。

得られた一貫性スコアはスコアカードに書き込まれ、次回の実行で反転しやすい決定を特定する。この検出は完全なブラックボックスで、ロジットやモデル内部へのアクセス、追加の計装を必要としない。検出された各ステップは、ALTK-Evolveの既存の保存・検索パイプラインにそのまま乗る形式の一貫性ガイドライン候補になる。

記事では実際に生成された例として、SimpleNoteのノートでチェックボックス状の記号を数えるタスクに対し、「行頭に固定した正規表現で照合し、単純な部分文字列カウントを使わない」「検索結果が複数一致しないか確認してから進む」という2件のガイドラインが紹介されている。筆者らはこれをタスク固有の知識ではなく、多くのタスクに現れる不確実な決定点だと位置づけている。エージェントが今回はたまたま正解したが次は誤りやすいステップを狙う点が特徴だ。

評価結果と一般性

AppWorldの168タスクで、タスクごとに1本のベースライン軌跡から一貫性ガイドラインを生成し、その後の5回の実行で検証した。集計値ではPass^5が53.0%から69.0%へ上昇し、Mean@5も77.4%から81.0%へ上がった。結果として一貫性ギャップは24.4ポイントから12.0ポイントへほぼ半減し、以前は不安定だったタスクの約3分の1が毎回成功するタスクになったと報告されている。

難易度別では、Mediumが+22.9ポイント（相対+44%）、Hardが+14.3ポイント（相対+45%）と伸びが大きい。Easyは+12.2ポイントで、伸びしろが最も小さかった。平均精度はどの難易度でも維持または改善しており、Pass^5を上げるためにMean@5を犠牲にする設計は避けている。

ガイドラインの一般性も検証されている。同じAppWorldシナリオの別だが関連するタスクに適用してもPass^5は+13.0ポイント上がり、同一タスクの数値と比べて3ポイント低いだけだった。より弱いモデルのgpt-oss-120bでも同一タスクのPass^5は10.1%から16.1%へ上昇し、類似タスクの伸び（+8.7ポイント）が同一タスクの伸びを上回ったとしている。

現時点での制約

評価はAppWorldという単一のベンチマークと、ReActエージェント、GPT-4.1およびgpt-oss-120bという構成で行われている。日本語タスクや他のエージェントフレームワーク、実運用のトラフィックでの効果は原文に記載がない。記事は導入時の指針として、Mean@kと並べてPass^kを報告すること、難易度が上がるほどギャップが広がると想定すること、まず大きなモデルに頼らないことを挙げている。

診断コストについては、決定ステップごとに1回の追加LLM呼び出しで済み、正解ラベルも環境での再実行も不要と説明されている。ただし具体的な金額やレイテンシの数値は示されていない。自社のタスクで同じ効果が得られるかは、公開されたツールキットを使って確かめる必要がある。