ICML 2026論文2,200件を再現検証、Hugging Faceが結果公開

大規模再現実験の内容

ICML 2026は、23,918件の投稿を受け付け、6,352件を採択しました。これは前年のほぼ2倍で、AIエージェントによる実験の自動化が論文投稿数を押し上げている一因とみられます。一方で、査読者の数や時間は追いついておらず、査読の質が問題になっていました。

この状況に対し、Hugging FaceとalphaXivは2026年7月15日から8月2日まで、コミュニティ参加型の再現検証ハッカソンを開催しました。採択論文の主張を抽出し、参加者が各自のAIエージェントを使って再現を試みます。参加者にはHugging Faceの計算リソースが提供され、2,962件のクラウドジョブが実行されました。

その結果、1,221人のコミュニティメンバーが参加し、6,816件のログブックが公開されました。2,226件の論文が対象となり、これは全採択論文の34%に相当します。検証結果は35,908件の主張単位で判定され、すべて公開されています。

再現検証の結果

主張ごとの判定を集計すると、検証対象となった論文のうち51%に当たる1,103件で、少なくとも1つの主張が独立に検証されました。そのうち266件は、抽出されたすべての主張が検証された完全再現です。また、632件は一部が検証され、反証もない部分再現でした。

一方で、23%に当たる496件では、少なくとも1つの主張が反証・異議ありと判定されています。特に、同一の主張に対して独立した再現チームが正反対の結論に至った事例が242件あったことが注目されます。再現性は白黒つけられるものではなく、対抗的なプロセスであると筆者らは指摘しています。

残りは中間的な結果で、502件はスケールを落としたおもちゃ規模の証拠のみ、280件は判定不能でした。判定不能の主な原因は、論文にコードやデータが公開されていないことでした。

見つかった問題の具体例

反証が確認された事例の一つに、学習付きページングのロバスト性に関する論文があります。査読者は証明を注意深く確認していなかったとコメントしており、実際に再現実験では理論上の主張と異なる成長が観測されました。参加者のログブックが証明の破綻箇所を特定し、Hugging Face自身の再実装でもほぼ9シグマのずれで確認されています。

また、とある論文では理論的に証明されたはずの性質が、反例によって否定されました。3つの独立したチームが反例を見つけています。さらに、論文の数式は逆KLダイバージェンスを解析しているのに、公開コードのデフォルトは順方向KLで実験していた事例もありました。

一方で、再現の方が間違っている例もあります。ある参加者は手法がベースラインより2倍遅いと主張しましたが、これは単位の誤りによるもので、正しく正規化すると元の論文の8倍高速化という主張が裏付けられました。このような誤った反証に対しては、再監査が行われています。

人間とAIの分担

このハッカソンから得られた最も重要な示唆は、AIエージェントだけでは限界があるということです。エージェントは局所的なループにはまり、スケール依存の挙動を誤読し、単位の不一致の上に反証を組み立てることがありました。最も信頼できる結果は、人間がエージェントを誘導し、仮定を疑い、実験の前提を判断するプロセスを含んでいました。

また、数値指標だけで評価できないケースでは、人間の判断が不可欠です。例えば、極端な量子化下での画像生成の安定性を検証する際、数値指標上は品質が保たれていても、実際に画像が使えるかどうかは知覚的な判断を要しました。参加者は専用のレビューUIを作り、本人が128組の画像をすべて判定したそうです。

著者らは、人間の役割は「知能を効果的に管理すること」に変わると述べています。教授やPIが大学院生のために環境を整えるように、人間は計算リソースやデータ、適切なフィードバックを提供し、エージェントに実行させる。今後、AIエージェントによる再現検証が研究の信頼性向上に役立つ可能性があります。