DiG-bench：70の遊戲でAIの探索・発見能力を測る新ベンチマーク

DiG-benchの概要

DiG-benchは、AIシステムが未知の環境でルールを推測する能力を測るために設計された、70のゲームで構成されるベンチマークです。各ゲームは自己完結型のミニチュアワールドであり、ルールと目的はプレイヤーから隠されています。プレイヤーはインタラクションを通じてそれらを発見する必要があります。

このベンチマークは、視覚的なARCゲームに似ており、AIの直感的・創造的な能力を理解することを目的としています。研究者は「プレイヤーが重要なメカニズムを特定し、新しい環境で重要な情報を見つける能力」を測定できるとしています。

主な特徴

ゲームは全てテキストベースで、言語モデルに適しています。また、現在のフロンティアモデルのコンテキストウィンドウに収まるほど短いものが多いです。各ゲームは人間の専門家によって手作りされており、大半は非公開で、AIが学習できないようになっています。

全ゲームは少なくとも1人の人間によってクリアされており、クリア可能であることが確認されています。しかし、プレイヤーからは難しかったとの報告もあります。ゲームには実験モードも用意されており、ステップ制限を緩めて探索できます。

AIモデルの成績

ベンチマークは7つの難易度ティアに分かれており、ティア1が最も簡単でティア7が最も難しいです。現在、21のゲームが公開されており、残りは非公開です。各ゲームには複数のレベルがあり、各ステップで取れるアクションの数は2から34まであります。

実験の結果、Opus 5とFable 5（Claude Code使用時）が最も優れたモデルで、GPT-5.5が続きました。ティア7ではOpus 5とFable 5のみがタスクをクリアできましたが、成功率は20%です。ティア6ではOpus 5、GPT-5.5、Kimi K3がハーネス（Claude Codeなど）を使って一部をクリアし、ティア4ではGLM-5.2とGemini 3.1 Proが一部のレベルをクリアしました。

創造性の代理指標として

このようなテストは、創造性の前提条件である「未知の状況について文書化されていない有益な事柄を自律的に発見する能力」を測定しようとする試みです。現在のフロンティアモデルは印象的な発見能力を示しつつも、人間と比較すると課題が残ります。

著者の1人であるJuergen Schmidhuber氏を含む研究者たちは、人間はテストで100%の成功率を達成できると報告しています。AIの成功率はティア7で20%であり、人間との差はまだ大きいと言えます。