GPT-5.6 SolのARC-AGI-3スコアが3倍に、原因は2つのAPI設定

低スコアの謎

OpenAIは2026年7月29日、GPT-5.6 SolがARC-AGI-3で7.8%という低いスコアにとどまった原因を調査した結果を発表した。GPT-5.5では0.4%だった。このモデルは数学の未解決問題であるcycle double cover conjectureを解いたり、Pokémon FireRedを攻略したりする能力を示しており、当初は結果に戸惑ったという。

ARC-AGI-3は、説明なしで2Dパズルゲームのルールを学習し推論できるかを測るベンチマークだ。公式ハーネスはツールなしの汎用的な設計で、モデルの欠点が見えやすく、比較が公平になるよう意図されているという。デモゲームはarcprize.org/tasksで公開されている。

原因はハーネス設定

調査の結果、公式ハーネスには2つの問題があった。1つ目は、ゲームの操作ごとにモデルの非公開推論がすべて破棄されること。2つ目は、履歴が長くなると古い行動が自動的に切り捨てられるrolling truncationを使っていたことだ。このため、モデルは過去の思考も行動も思い出せず、毎回ゲームを解釈し直す状態になっていた。

OpenAIは、モデルが賢く見えなかった原因はモデル自体ではなくハーネス設定にあると判断した。そして自社製品で使っている環境と同じにするため、Responses APIでハーネスを実装し直した。Responses APIは、前回のレスポンスIDを渡すだけで推論の保持を自動で行える。

有効だった2つの設定

有効にしたのは、retained reasoningとcompactionの2つの設定だ。前者は会話履歴に推論メッセージを残す設定で、後者は会話が長くなったときに要約して文脈を維持する設定である。これにより、モデルは毎ターンゼロから考える必要がなくなり、学んだことを長期的に使えるようになった。

その結果、GPT-5.6 Solのスコアは約3倍になり、出力トークンは6分の1に減った。OpenAIによると、同社の実装ではコンテキスト上限を17万5,000トークンとしており、公式ハーネスの17万5,000文字とほぼ同等の挙動になるという。ゲームのグリッドは文字とトークンが1:1に対応するためだと説明されている。

教訓と推奨事項

OpenAIは、ベンチマークの結果はモデル単体を測っているのではなく、API設定やハーネス設計など見えにくい選択の影響も同時に測っていると強調する。過去にも低スコアの原因が、評価実行ツールが推論メッセージを捨てる汎用ハーネスだったことがあったという。今回の事例は、評価環境の設計が結果を大きく左右することを示している。

具体的な推奨事項としては、旧来のChat Completions APIではなくResponses APIを使い、retained reasoningとcompactionを有効にすることが挙げられている。モデル比較をする場合も、ChatGPTやCodexでの実運用に近い設定を使うべきだとしている。OpenAIはARCの分析が調査のきっかけになったとして、謝意を表明した。