OpenAIの数学証明公開、AGMAIの指針と乖離があると数学者らが指摘

OpenAIが難問の証明を公開

OpenAIが今週、世界で最も難しいとされる数学の問題に対する数百件の解答（証明）を公開した。同社は前回、モデルが長年の未解決問題を解いたと発表した際に議論を招いたことを踏まえ、数学者の助言グループに相談したと説明している。

助言グループはAGMAI（数学とAIに関する助言グループ）で、プリンストン大学のInstitute for Advanced Studiesがホストを務め、世界の研究機関に所属する9名の研究者で構成される。9月末にフロンティアラボ向けの指針を公表した。

ただしAGMAIは今回の証明群について、「我々の提言がどこまで成功裏に守られたかを評価するのは最終的に数学コミュニティの役割だ」とする声明を出している。TechCrunchが求めたより詳細な評価への回答は得られていない。

指針とのずれ

AGMAIの最初の要請は「独占モデルで高度な数学問題をテストするのをやめること」だった。一方OpenAIの公開資料は、数学の未解決問題を使って自社の独占モデルを評価していると明記しており、この点は要請と一致していない。

OpenAIが指針に沿った部分もある。結果をできるだけ早く公開し、モデルがどう結論に至ったかの情報を含めるという点だ。ただしすべてではなく、719本の原稿のうちモデルの思考過程（chain of thought）を公開したのは10本にとどまる。

また、人が理解しにくい論文については証明の形式化が求められていた。原文によれば、OpenAIが公開した証明のうち42%はこのプロセスを経ていなかったという。

AGMAIは、自然言語の証明と形式化された成果物を対応づける機械可読メタデータを含めるよう求めていたが、今回は実施されていない。

自然言語とLeanのずれ

AIモデルは数学の問題を解くとき、まず自然言語で説明を作り、それをLeanというプログラミング言語で表現しようとする。Leanは証明をコードとしてコンパイルすることで、理論上その正確性を確認できる。

ケンブリッジ大学とロンドン大学キングス・カレッジの数学者らが今週公開した論文は、この自然言語からコードへの変換に問題がありうると指摘する。流体の複雑な振る舞いを表すナビエ・ストークス方程式から導かれた問題に対してOpenAIが示した解答で、自然言語の証明とLeanコードの間に少なくとも2件の不一致が記録されている。

不一致はどちらの解答の誤りをただちに示すものではないが、人間の関与なしにモデル自身の形式化を信用できるかという疑問につながる。論文の著者らは、こうした証明は他の証明と同じ査読と精査なしには正面から信用すべきでないと結論づけている。

人間の理解が残る課題

数学者たちは、人間が新しい結果を出した場合はその結果に責任を持ち、論文や講演、セミナーを通じてコミュニティと関わると強調する。これにより理解が深まり、他の問題に使える戦略が見つかり、実用分野への応用も進む。

Terence Tao氏は、AIプロンプターが自律的に問題を解き、当初の目標が「解決」されると分野自体への関心を失い、結果について質問に答えたり講演したりできないと指摘した。ハーバード大学のMelanie Wood教授は、公開時点で人間の理解はなく、そこから作業が始まると述べている。

AGMAIは、OpenAIが自社の解答を意味あるものにするために必要な数学者の作業へ資金を出すことも提案している。この点への対応は現時点で明らかでない。