Google Research、検証可能な自動研究フレームワーク「Science One」発表

AI研究エージェントの検証問題

大規模言語モデル（LLM）を自律的な研究エージェントとして使い、文献調査から仮説立案、実験、論文執筆まで一貫して行うシステムが登場しています。Sakana AIのAI-ScientistやDeepScientistなどが代表例です。しかし、出力される論文の見た目の品質が上がるにつれ、内容が本当に検証可能なのかという構造的な問題が浮上しています。

既存のシステムでは、存在しない引用文献を生成したり、説明されている手法と実際のコードが食い違ったり、報告された実験スコアがコードから再現できないことがあります。これは、生成過程で誤りが累積するためです。Google Researchはこの問題に取り組むため、Chain-of-Evidence（CoE）という新しい検証フレームワークを導入しました。

Chain-of-Evidenceとは

CoEは、研究生成物が信頼できるために満たすべき性質を定義する概念的なフレームワークです。データベースのトランザクションがACID特性を持つように、研究の主張には証拠のチェーンが記録されていること（完全性）と、そのチェーンが主張を実際に支えていること（正当性）を要求します。

主張には、参考文献、報告された数値、手法の説明、結論などが含まれます。それぞれが査読論文や実験ログ、実際に実行したコード、結果表などの証拠と結び付いていなければなりません。幻覚参照とは存在しない論文を指すこと、未再現スコアとはコードを再実行しても同じ値が出ないことを指し、いずれも証拠へのチェーンが切れた状態です。

Science Oneの仕組み

Science One Frameworkは、CoEの考え方を構築時点で組み込んだ自律研究プロトタイプです。事後的に証拠を張り付けるのではなく、各段階で証拠のチェーンを生成します。3つのモジュールで構成されています。

Problem Investigatorは、Semantic Scholar APIを使ってトピックごとに最大100件のPDFを読み、引用グラフを構築します。最終論文の参考文献はすべてこのAPI由来で、モデルの記憶に依存しません。Discovery Engineは並列ブランチで探索と活用を行い、生の評価結果を読み取り専用で記録します。Paper WriterとClaim Verifierは、事実主張を構造化し、インラインの証拠タグでワークスペース内の成果物と結び付けます。主張が証拠を超えている場合は、削除するのではなく保守的に言い換えます。

CoE Auditによる検証結果

CoE Auditは、生成された論文とコードを事後的に検証するプロトコルです。スコアの再現検証、仕様違反の検査、参照文献の実在確認、手法とコードの整合性チェックの4つを実施します。

5つのシステム最適化タスク（Prism、Cloudcast、EPLB、LLM-SQL、トランザクションスケジューリング）で、Science One Frameworkと既存ベースラインを比較しました。その結果、ベースラインでは最大21%の参照幻覚が見られたのに対し、Science Oneはゼロを達成しました。スコア検証と手法コード整合性でも最高の結果です。しかも、性能面では5タスクすべてで人間の専門家に匹敵以上となり、2タスクで最高スコアを記録しました。

今後の課題と位置づけ

さらに、より困難な外部タスクであるMLE-Benchでは、5つのKaggleコンペティションで金メダル2個（3D物体検出で1位）と銀メダル2個を獲得しました。また、厳しい制約下でのLLM訓練コンペティションParameter-Golfでも、ベースラインが有効な提出物を作れない中、制約を守りながら最高スコアを達成したとしています。

ただし、本フレームワークは実験的な研究プロトタイプであり、製品化されたものではありません。また、CoE AuditはLLMベースの判定を含むため、その判定自体の信頼性が今後の研究課題となる可能性があります。それでも、検証可能性を第一級の設計制約として扱うという考え方は、今後のAI研究エージェント開発の方向性を示すものと言えます。