Ai2、LLMの研究アイデア新規性評価の不安定さを示すベンチマークを公開

公開されたベンチマーク

Ai2が公開したのは、LLMを「novelty judge(新規性判定器)」として使ったときの信頼性を測る研究と、そのためのベンチマーク・データ・コードです。評価セットを自動で組み立てるパイプラインも含まれています。Ai2はDataVoyager、AutoDiscovery、Theorizer、Astaといった科学研究支援プロジェクトを進めており、本研究はその流れに位置づけられます。

ベンチマークの素材はICLR 2026の査読コメントです。論文の採択可否を新規性の代理指標にはせず、査読者が寄与の独創性に明示的に言及した箇所を抽出しています。高新規プールは154件で、採択論文のうち研究分野で上位10%に入り、査読者が新規性を肯定し、否定的な言及がないものです。低新規プールは145件で、不採択かつ下位10%、独創性への懸念が示され、肯定的な言及がないものを選んでいます。抽出精度の確認では、50件中47件で注釈者の判断と一致しました。

さらに、実際の用途に近い「Human+Generated」設定も用意しました。同じ154件の人間のアイデアに、単純なLLM生成器が出した154件を1対1で組み合わせたものです。生成器には研究分野と「新規なアイデアを出せ」という指示だけを与え、文献検索や反復、フィードバックは行っていません。このラベルは検証済みの判断ではなく弱いラベルだと著者らは明記しています。補足として専門家が30ペアを独立に確認し、すべてで人間のアイデアをより新規と判断し、生成アイデアを新規と評価しなかったと報告されています。

プロンプトで判定が変わる

検証には6つのjudge(GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6)が使われました。評価方式は、単体で絶対評価するpointwiseと、2つのアイデアを比べるpairwiseの両方です。実験ではプロンプト、推論予算、関連論文の提示、アイデアの整形方法、判定の統合数、生成モデルの種類といった要因を1つずつ変えています。

最も大きな変動を生んだのはプロンプトでした。GPT-5.4に同じペアを見せ、「各ペアには査読者が新規と認めたアイデアが1つだけある」と伝えて特定させると精度は93.5%でしたが、単に「どちらが新しいか」と尋ねる形に変えると40.9%まで下がり、偶然の水準を下回りました。同じペアの半数以上で判定そのものが変わっています。一方、同じ変更によるHuman-Onlyデータセットでの変動は約7ポイントにとどまりました。人間が書いた研究では安定して見えるjudgeが、AI生成アイデアでは大きく挙動を変えることを示唆します。

人間のアイデアでも影響は皆無ではありません。同じ変更でClaude Opus 4.6のHuman-Onlyでの精度は21ポイント動きました。万能なプロンプトは見つかっておらず、あるjudgeの精度を上げる指示が別のjudgeでは下げる例も報告されています。2つのAI生成器の比較(Claude Opus 4.5とClaude Sonnet 4.5、GPT-5.4とGPT-5.1)でも、6つのjudgeの平均で約4分の1から3分の1の判定がプロンプト変更によって変わったとされています。

専用システムより簡易構成

検索や推論を増やせば良くなるわけでもありません。GPT-5.6 Solに非常に大きな推論予算とarXivに限定した反復検索を与えたエージェント型judgeのmacro-F1は0.78でした。標準的な検索設定のClaude Opus 4.6の0.89を11ポイント下回り、1判断あたりのコストは約10倍かかるとされています。macro-F1は新規なアイデアとそうでないアイデアをどれだけ正しく識別できるかを表す指標で、高いほど良好です。

専用に作られた新規性評価システムも精度で上回れませんでした。Claude Opus 4.6に低い推論予算でプロンプトを与え、3回の多数決を取るだけの構成はmacro-F1 0.854、評価コストは合計2.59ドルでした。これに対し、文献に基づく検索と再ランキングを行うIdea Novelty Checkerは0.642で30.66ドル、Sakana AIのAI Scientist(新規性評価器がSemantic Scholarを反復検索)は0.772で82.05ドルでした。専用評価器はいずれもClaude Opus 4.6を1判断1回の呼び出しで使っています。

つまりこの比較では、シンプルなプロンプトのベースラインが専用システムより精度が高く、費用も大きく下回りました。著者らは、こうした新規性評価がとくにAI生成アイデアに対して脆いと結論づけています。

残る課題と注意点

ラベルの性質には注意が必要です。Human+Generatedのラベルは「AI生成アイデアの方が新規性が低い」という前提に基づく弱いラベルで、個々のアイデアについて検証された判断ではありません。ただし著者らは、2つの妥当な評価設定が同じペアに対して逆の答えを出せば、その不一致自体が不安定さの証拠になると述べており、主要な知見の多くはラベルに依存しないとしています。

現時点で分かっていないことも多く残ります。他の科学分野や将来のモデル世代で同じ傾向が続くかは明らかになっていません。プロンプトへの感度をどう抑えるか、先行文献をどう評価に組み込むかも未解決の課題です。著者らは、パイプラインを他の査読データや科学コミュニティに適用できるとしており、ベンチマークを出発点と位置づけています。