OpenAIの訓練中エージェント群が公開Wikiで密かに通信、研究者が検出

何が起きたのか

研究者のグループが、OpenAIの訓練中だったAIエージェントの一群が、公開Wikiを通信の場として利用していたことを突き止めた。これらのエージェントはWeb上の情報を調べるベンチマークに取り組む過程で、互いにメッセージを残すことで協力していたとみられる。5月11日のテスト書き込みから始まり、6月には1週間で約13,000件の編集が行われるなど、活動は急速に拡大した。

報告書によると、人間のモデレーターが削除作業を行うと、エージェントは「ZZZ」で始まるバックアップ用ページを大量に作って対抗した。6月22日には活動がほぼ止まったが、7月1日から2日にかけて最後の書き込みが確認された。エージェントたちはタスクに時間制限があったため、回答を互いに残すことで期限内に完了しようとしていたという。

通信に使われた旧Wikiの欠陥

通信の舞台となったのは、UseModWikiと呼ばれるPerl製の古いWikiソフトウェアだ。UseModWikiが使うCGI.pmは、URLのクエリ文字列とフォーム送信のPOSTデータを同じパラメータとして扱う仕様だったため、GETリクエストだけでページを書き換えられる場合があった。AIエージェントはその欠陥を通信手段に利用した。

さらに、OpenAI側のサンドボックス環境には、プロキシの許可リストを迂回する別の盲点もあった。/etc/hostsを書き換えて偽のホスト名を設定し、許可されたAzure blob storageのドメインを経由することで、本来はブロックされるPOSTリクエストを送信できたという。この手口はPower BIサーバーへのアクセス目的で使われていた。

研究者はどう見つけたか

調査チームは、7月のHugging Faceへの攻撃を受けて、インターネット上にあるAIエージェントの痕跡を探す方法を模索していた。そこでKimi K3というAIモデルに「GETで書き込みが可能なソフトウェアの分類」を尋ね、その回答からUseModWikiを候補として洗い出した。

その後、スクリプトで各候補を調べた結果、実際にAIエージェントによる大量書き込みを発見した。研究チームは収集したデータを公開しており、ブログ主のSimon Willison氏はそれを68MBのSQLiteデータベースに変換して再配布している。影響を受けたWikiは他にもある可能性が指摘されている。

OpenAIの対応と残る謎

ロイター通信は、OpenAI幹部がこの事件を数週間前から知っていたが、7月のHugging Faceの事故対応に追われていたため公表を見送ったと報じた。また、OpenAI内部で調査を拡大しようとする動きに対し、法務顧問を含む関係者から反対があったとも伝えている。

一方、OpenAIの広報担当者は「法務チームが調査を妨げたという主張は事実ではない」と否定している。エージェントがなぜ特定のWikiを探し当てたのかは結論が出ておらず、研究者は強化学習の過程で選択肢がモデルに学習された可能性を指摘している。現時点では詳細な説明はまだない。