MicrosoftとHugging Face、エージェントをDB状態で評価するベンチ公開

何が発表されたのか

MicrosoftとHugging Faceが共同ブログで、AIエージェント向けのサンドボックス「ThinkingBox」と、データセット型ベンチマーク「ThinkingBox-Bench」を発表しました。特徴は、エージェントの最終応答やツール呼び出しの形式ではなく、実行後にバックエンド（データベース）に残った最終状態と副作用を採点する点にあります。対象は507の状態を持つ業務ワークフローで、各タスクが複数のLLMに対して20回ずつ実行されています。

各タスクには、開始時のバックエンド状態、ユーザーの目的、利用可能なMCPツール、ドメインポリシー、最終状態に対する実行可能チェックが定義されます。模擬ユーザーは予約参照番号や生年月日といった非公開の文脈を保持し、聞かれたときだけ開示します。各試行は新しく初期化された状態の隔離されたMCPセッションを与えられ、同じタスクの2回の試行がデータベースの行を共有することはないと説明されています。

ブログの冒頭には、745ドルの家電が配送業者の「例外」状態のまま15日遅延しているという例が示されます。エージェントは9回のツール呼び出しを行い、返金ポリシーを2度確認し、対象外という判断も正しく下しました。しかしチケットを解決済みとして閉じており、本来必要とされる最終状態（保留）とは異なる状態を残してしまった、という例です。

ツール呼び出しは成果ではない

著者らは、最終応答や妥当なツール呼び出しはあくまで代理指標にすぎないと位置づけます。エージェントは正しく聞こえても、誤った値を書き込んだり、誤ったレコードを変更したり、余計な副作用を生んだりしうるためです。121,680件の有効試行を含む共通セットのアブレーションでは、79,853件が実行可能チェックに失敗しました。そのうち67.24%は正常に終了し、状態を変えるツールを呼び、最終的なツールエラーも報告していませんでした。

実行可能チェックは、そうした失敗のうち77.61%で誤ったフィールド値を検出し、43.30%で意図しない追加効果、25.36%で必須の効果の欠落を検出しています（これらの検出は重複します）。著者らは「軌跡は主張であり、データベースの状態が証拠である。反復が信頼性のテストになる」とまとめています。ログ上の成功と、データが実際に正しい状態になったかどうかは別問題だという整理です。

一貫性とそのコスト

pass@1（1回だけ試行したときの成功率の推定値）では、Claude Opus 5.5が67.16%で首位、Claude Opus 5が66.50%と僅差で続きます。Kimi-K3はオープンウェイトのモデルとして最強で、GPT-6-Astraと1ポイント以内でした。ドメインによる差も大きく、Claude Opus 4.6は小売で68.62%を記録する一方、自動車保険では8.30%にとどまっています。

20回の反復にどれだけスコアが残るかを見ると、GPT-6 Astraが単発スコアの78%、Claude Opus 5.5とClaude Opus 5がそれぞれ71%を維持しました。一方でGLM-5.1、Kimi-K2.6、DeepSeek-V4-Proは約8%しか残りません。広さと一貫性も分離します。Kimi-K3は507タスク中476件（93.89%）を少なくとも1回は解きますが、20回すべて成功したのは68件（13.41%）だけです。Claude Opus 5は逆に、少なくとも1回解けたのは79.09%で106タスクは全く解けませんが、47.53%を毎回成功させています。

コストは「成功した試行あたり」と「信頼できるタスクあたり」の2通りで測られます。前者ではGPT-5.6 Solが0.127ドルで最も安く、GPT-5.4が0.004ドル高くしてpass@1を3.45ポイント引き上げ、Claude Opus 5.5がさらに1.80ポイント上げて0.276ドルとなっています。後者では順位が変わり、GPT-5.4が6.80ドルで最安ですが合格は128タスクのみ、GPT-6 Astraは231タスクで7.45ドル、Claude Opus 5.5は241タスクで7.80ドルです。単発で最も安いGPT-5.6 Solは信頼タスクあたり9.76ドルでした。

失敗の傾向と未確認の点

失敗の傾向について、著者らは約5件に4件が推論ではなくツール処理に起因すると述べています。エージェントはワークフローを試みる段階までは進むものの、ツールエラーや満たされない前提条件、空の検索結果から回復できないというパターンです。対策として、コミット前に最終状態を確認すること、ツールやシステムのエラーを分類して再試行の対象を絞ること、ツールの面を業務に必要な分だけに削ること、戻せない変更には人手の承認を要求することを挙げています。

ただし著者らは、これらの対策によるスコアの改善幅はこのベンチマークではまだ測っていないと明記しています。「環境がテスト可能にする種類のもの」だとするにとどまります。またドメインによる難易度差も示され、対象モデル全体で小売は平均59.52%、自動車保険は平均33.83%のpass@1でした。コストの数値はOpenRouter+の割引なしリスト価格による推定であり、実際のクラウド請求額でも本番1リクエストの価格でもないと注記されています。