AIエージェントの科学能力を測る「Terminal-Bench-Science」公開

背景と目的

スタンフォード大学の研究者らが主導するチームは、AIエージェントの科学研究能力を評価する新しいベンチマーク「Terminal-Bench-Science 0.1」を公開しました。ソフトウェア開発のための既存ベンチマーク「Terminal-Bench」の考え方を科学研究に拡張したものです。科学者自身が設計した課題で、AIエージェントが研究現場で実用になるかを測ります。

このベンチマークの目的は、AIエージェントが研究アシスタントとして役立つかを検証することです。データ解析やシミュレーションの実行、定理証明など、時間のかかる作業をエージェントが代替できれば、研究者は仮説の立案や結果の解釈といった判断に集中できます。今回のリリースはその第一歩と位置づけられています。

タスク設計と参加の仕組み

タスクは、モデル開発者ではなく科学者自身がGitHub上で提案します。レビュー工程では、科学的な妥当性と客観的な検証可能性を確認し、エージェントにとってまだ難しく、簡単に解けるものは除外されます。今回のリリースでは、920件の提案のうち最終的に70件が採用されました。

各タスクは、解析結果やシミュレーション、証明、コードなど具体的な成果物として評価されます。タスクはバージョン管理され、Harborと呼ばれるツールで再実行・再採点が可能です。コミュニティの議論はDiscordで行われ、提案から審査までが公開されています。

結果と比較

評価では、Claude Opus 5が30.0%と最も高い解決率を達成しました。GPT-5.6 Solが22.4%、Claude Fable 5が21.4%と続き、Claude Opus 4.8は10.5%でした。オープンモデルではGLM 5.3が8.1%で最も強く、GPT-5.6 Lunaは3.3%にとどまりました。

解決率は既存のTerminal-Bench 3.0と比べて、すべてのモデルで10ポイント以上低くなっています。これは、最先端モデルでも解けないタスクを意図的に含むよう調整したためです。コスト面では、GPT-5.6 SolがClaude Fable 5と同程度の解決率を約3分の1の評価コストで達成するなど、効率にも差が表れました。

今後の課題

今回の結果は、AIエージェントの科学研究能力がまだ十分ではないことを示しています。分野ごとに性能差も大きく、数学分野ではClaude Fable 5がGPT-5.6 Solを上回りました。一方、工学ではGrok 4.6が2位に並ぶなど、モデルによって得意分野が異なることが分かります。

ベンチマークは継続的に更新され、次の0.2では2026年10月5日を締切にタスクが募集されています。コミュニティ参加型のため、日本の研究者も提案できます。一方で、高額な評価コストのモデルもあるため、導入検討時には解決率だけでなくコストやトークン使用量も考慮する必要があります。