数学者がOpenAIに訓練データの透明性を要求、未公開研究の利用めぐり不信感

発端となった別の研究者の指摘

数学者のAndreas Thom氏が、Mastodonへの一連の投稿で、OpenAIの訓練データの出所に関する透明性の欠如を批判した。同氏は、自身と同僚がChatGPTと交わしたやり取りが、OpenAIが公表した数学的な成果に寄与した可能性があると懸念を示している。OpenAIは先月、10件の成果を発表しており、そのうち1件はThom氏の専門である「非ソフィック群」に関するものだった。

OpenAIは、この成果がThom氏と数学者のGábor Kun氏による従来の研究に大きく依拠していることを認めている。数学界から、両氏の最近の貢献を明示していないとの批判を受け、同社は解説文をひそかに修正した。非ソフィック群とは、おおまかに言えば、有限の構造では近似できない無限の数学的構造を指す。

透明性をめぐる応酬

今回の批判は、ニューヨーク大学の数学教授Tristan Buckmaster氏が、OpenAIのCodexの利用が同社のモデルに利益をもたらしたのではないかと公開で疑問を呈したことを受けて起きた。Thom氏は、この件をきっかけに自身のOpenAI製品とのやり取りを振り返るようになったと述べている。同氏はまた「OpenAIが我々の手法を詳細に把握していたこと」に驚いたとし、当時それらの手法は最も明白でも最も有望でも解決経路ではなかったとしている。

Thom氏は、OpenAIの研究者Sébastien Bubeck氏と、ハーバード大学の統計学者でもあるMark Sellke氏にメールを送り、自身のChatGPTとのやり取りが「訓練データの一部となったか、推論プロセスから参照可能だったか」を尋ねた。しかし回答は満足のいくものではなく、やり取りに直接アクセスできるかどうかにしか触れておらず、モデル改善に使われる訓練データに入ったかどうかには言及していなかったという。

未解決の点と懸念

Thom氏は「そのような限定も説明も証拠も示されなかった」「これは少なくとも不誠実だと受け取っている」と書いた。研究者にはOpenAIの訓練パイプラインを逆解析して自らの成果が使われたかを調べる手段がなく、「それに必要なデータを持っているのはOpenAIだけだ」と述べている。同社が利用を否定するのであれば、必要なデータセットを開示し、データの利用方法を定めた設定や条件を明らかにする責任があるという立場だ。

同じ構図は、最近のミレニアム懸賞問題に関する成果の説明にも表れている。OpenAIは流体の運動に関するNavier-Stokes方程式の解を発表したブログ記事で、特定のユーザーデータにはアクセスしていないと明確に否定する一方、「可能性は低いが、利用者が当社製品を使ったことに由来する非特定化データがモデル改善に役立った可能性は排除できない」としている。Thom氏はこれを、自身への回答と同じ「曖昧にする区別」だと指摘し、「非特定化は名前を消しても、数学的アイデアの知的内容は消さない」と述べている。

分かっていないことと影響

OpenAIはThe Vergeのコメント要請にすぐには応じていない。Thom氏は、利用者が提供した非公開研究が、同意や適切な開示、クレジットなしにモデル改善に使われ、そのモデルで同じ利用者と出版を競うことになれば「倫理的に擁護できない」と述べている。

数学者の間では、こうした行為が分野をより秘密主義的な方向へ押しやるとの懸念も出ている。大手ブレークスルーに近づいているという噂だけで、資金力のあるテック企業との競争に火が付く可能性があると知れば、研究者が成果を共有しなくなるかもしれない。OpenAIのミレニアム懸賞問題の成果自体は、検証されれば否定しにくい業績だが、同社が「他の研究者が大きく前進したという噂をオンラインで聞き、自分たちも試そうと考えた」という異例の経緯が状況を複雑にしている。