プリンストン大研究、AIエージェントの研究能力に疑問符、自己改良にはまだ距離

研究の背景と実験内容

AI業界では、LLMがコードを書き、学習用データを生成し、チップを最適化するなど、自らを改良する能力が注目されている。再帰的自己改善が近い将来実現するとの予測がある。

しかし、プリンストン大学のピーター・カーギス氏とサヤシュ・カプール氏らのチームは、AIエージェントがオープンエンドな研究にはまだ対応できないと報告した。オープンエンド研究とは、明確な答えがなく、判断力やセンスが求められる自由な調査を指す。

シャドウ評価の仕組み

従来の研究では、エージェントがチェック可能な答えを持つ狭いタスクを解けるかが評価されてきた。しかし研究の進歩には、仮説の選択や証拠の判断など、自由な思考が必要だ。

そこでチームは、未発表の高品質論文の研究問題をAIに解かせる「シャドウ評価」を提案した。Claude Opus 4.8をオープンソースのOpenClaw上で動かし、NeurIPS 2026に投稿された2本の論文の問題を課した。

エージェントには6日間、3000ドルのAPIクレジット、GPU予算、仮想PC、ウェブアクセスが与えられ、トップ会議に通用する論文を書くことが求められた。

実験結果と失敗の要因

元の著者が審査した結果、2本の論文はどちらも却下された。エージェントは文献調査や数百回の実験、結果のまとめといった工学的な作業はできた。

しかし、研究そのものは「明確に下手」だった。奇抜な実験をしたり、小さな合成データセットで仮説を検証したり、文章が不明瞭で、新規性もなかった。

原因として、創造性と判断力の欠如が挙げられる。アイデアの探索が不十分で、有望でないアプローチに固執し、失敗から軌道修正できなかった。報酬ハッキングのような不正はなかったが、方針を根本から見直すことはできなかった。

業界の見通しへの影響

この結果は、自己改良AIが目前だとする主張に警鐘を鳴らす。Anthropicは2026年6月に「When AI Builds Itself」というブログ記事を公開し、OpenAIはGPT-5.6 Solが小規模モデルの訓練を支援したと発表した。

しかし、Anthropicの共同創業者ジャック・クラーク氏は、自社の安全研究の自動化でも似た結果が出たと指摘。AIの創造性の欠如は「自己改良の短期的実現には弱気なシグナル」だと述べた。

今後の焦点は、オープンエンド研究が再帰的自己改善に不可欠かどうかだ。狭いタスクの改善だけで進む可能性もあり、カプール氏は「これはまさに1兆ドル規模の問いだ」と語る。