AIが長文書の状態変化を追えるか測るベンチマーク「StateBench」を公開

StateBenchとは何か

StateBenchは、言語モデルが長い文書の中でエンティティ(変数や登場人物、物体)の情報が変化していく様子をどれだけ正確に追えるかを測るベンチマークです。状態追跡は、コードの中で変数が代入・再代入される場面から、物語の中で人物が移動したり物が持ち主を変えたりする場面まで、幅広いタスクの土台になっています。記事では、殺人事件の直前に「JohnがMaryにナイフを渡した」と書かれていれば、各人物の状態が変わったことを把握する必要がある、という例が示されています。

既存の状態追跡テストは最も難しいケースに偏りがちでした。しかし再帰型やハイブリッド型の設計が広がるにつれ、どのアーキテクチャがどの種類の状態追跡を扱えるのかを知る必要が出てきたと著者らは説明しています。今回、技術レポート・データ・コードが合わせて公開されました。

4段階の難易度

StateBenchは、状態更新の複雑さに応じて4つの難易度を設けています。最も易しいR-trivialは値が一度も変わらない代入で、コードの「let x = 4」や生年月日のようなものです。次に易しいaperiodicは値による再代入を許し、モデルは最新の値を見つければよく、サーモスタットの設定のように最後の設定が現在の状態を決めます。

3つ目のsolubleは自己参照の更新を加えます。コードの「x = x + 5」のように更新が現在の値の上に積み上がるため、モデルは変更を順に持ち運ぶ必要があります。最も難しいgeneral finiteは参照による代入を加え、ある変数が別の変数の現在値を取ることで更新間に依存関係が生まれます。五つのカップの下の玉を入れ替え続けて位置を追う例が示され、これはS₅状態追跡問題と呼ばれる最も難しいレベルのものだと説明されています。

こうした区分は直感的な変数の代入として説明できますが、有限モノイドの構造を分解して捉えるKrohn–Rhodes理論に基づく理論的な裏付けも持っています。各レベルは、異なる原始要素の組み合わせで構成できる状態追跡問題のクラスに対応します。公平に比べるため、著者らは1つの一般的な系列から3つの易しい版を派生させ、変数の数・値の種類・代入の位置を揃えた4つの問題を作っています。

事前学習済みモデルとフロンティアモデルの結果

まず、学習データと文脈長が公開されている事前学習済みモデルが試されました。70億パラメータのOlmo 3(Transformer)とOlmo Hybrid(Gated DeltaNet層を追加したもの)、さらに2億7500万と27億パラメータの小型モデルが含まれます。いずれも同じデータで事前学習され、学習中に64,000トークンを超える文脈は見ておらず、多くはそれを超える長さでテストされました。

ほぼすべてのモデルがR-trivialでは良好でしたが、aperiodicでは入力が長くなるにつれて精度を落とし、general finiteでは偶然と同じ水準にとどまりました。問題の形式も影響し、2億7500万パラメータのハイブリッドとGated DeltaNetのモデルはRULER形式のR-trivial問題ではほぼ上限に達した一方、同じ問題を表計算の編集として提示すると偶然と同程度でした。同じ問題を複数の形式で試す理由がここにあります。

フロンティアモデルとしてはGemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolとLunaの4つが評価されました。4つともR-trivialとaperiodicでは良好でしたが、solubleとgeneral finiteでは入力が長くなるほど精度が急落し、最長のgeneral finite問題では13%以下まで下がりました。難しいレベルでは最終回答に影響するステップが増えるため、1つの更新を見落とすだけで誤答になりやすく、感度の高さが一因とみられています。

直接学習でアーキテクチャ差が明確に

次に著者らは、難しいレベルの苦手さがアーキテクチャ自体の限界なのか、事前学習が教えていないだけなのかを調べました。2億7500万パラメータのモデルを6種類、StateBench上でゼロから学習させています。内訳はTransformerが2種、ハイブリッドが2種、メモリ更新の制約が異なるGated DeltaNetが2種で、最大256回の代入を含む系列で学習し、最大64,000回の代入(学習時の250倍)の系列でテストされました。

系列が長くなるにつれてアーキテクチャの差が現れました。Gated DeltaNetとハイブリッドはR-trivial・aperiodic・solubleで、テストした最長の数万回の代入までほぼ完璧に汎化しました。Transformerは易しいレベルは学習したものの長い系列で劣化し、general finiteは学習できませんでした。最難関では、より柔軟なメモリ更新を持つGated DeltaNetの変種が最も遠くまで汎化し、学習時に見た最長系列のおよそ10倍までほぼ完璧な状態を保ちました。

著者らは、Gated DeltaNetとハイブリッドの差はアーキテクチャではなく学習に由来すると解釈しています。直接学習させれば、事前学習済みの同系統モデルが扱えなかったレベルも学習できたためです。一方Transformerは直接学習させても最難関を学習できず、こちらはアーキテクチャ側の制約とみられます。

未解決の問いと制約

残っている問いもあります。著者らの新しい証明によれば、メモリ更新をより限定した(非負固有値の)Gated DeltaNetは、論文の固定精度演算と丸めの前提で、すべてのaperiodicタスクと、同じ入力が偶数回・奇数回現れたかを追うような一部の周期的タスクを解けるとされています。ただし階層上の正確な位置は未解決で、solubleのすべてを解けるのか、数値精度やattention層との組み合わせが能力にどう影響するのかは明らかになっていません。

またStateBenchは変数の数が固定であることを前提としています。実際のタスクでは、長い会話の中で新しい人物や物体が次々に現れ、モデルはそれらも追い始める必要がありますが、現在のフレームワークはこの設定を扱っていません。ベンチマークの結果を実運用にそのまま当てはめる際には、この前提の違いに注意が必要です。