OpenAIの安全性担当社員が退職、寄稿で「企業文化は壊れている」と指摘

何が起きたのか

OpenAIで安全性関連の報告書作成を主導していたデイビッド・ロビンソン氏が退職した。同氏は米誌The Atlanticに寄稿し、在職3年半で「社内でも最も在職期間が長い従業員の一人」だと述べたうえで、会社の「文化は壊れている」との認識を示した。退職そのものはBusiness Insiderが先に報じている。

ロビンソン氏は自らを「一種の決まり文句」のような存在だと認めている。主要なAI企業の従業員が、退職時に深刻な警告を発するという構図が常態化しているためだ。同氏は、OpenAIの主要な製品発表に合わせて作成される安全性報告書の執筆を主導していたと説明している。

反復的デプロイへの批判

ロビンソン氏は、OpenAIが「試行錯誤（同社は『反復的デプロイ』と呼ぶ）」によって成長してきたと指摘する。問題を見つけてはガードレール（安全のための制約）を改良するやり方だが、同氏によれば、この手法は性質上、定期的な失敗を避けられない。しかもシステムの能力が上がるにつれて、失敗の規模は大きくなっているという。

同氏は根拠として、OpenAIのエージェントによるHugging Faceのシステム侵害や、同社が新たな制御不能なエージェントを発見しているという報道の継続を挙げる。こうしたことが起きうる環境は、人間より賢く、人間の意図どおりに動かない可能性のある知性を育てる場所ではないと主張する。そして、フロンティアAI企業は原子力発電所や混雑した空港のように、多重の冗長性と時間をかけた慎重な計画のもとで運用すべきだと論じた。

ただし同氏は、OpenAIで航空機の安全運航や原子炉の安定運用、金融システムの安定に関わった経験を持つ同僚には一度も会わなかったとも書いている。

OpenAI側の反応

OpenAIの広報担当ドリュー・プサテリ氏は、同社が安全性対策を改善し続けていると述べた。モデルが安全に管理・保護できる能力を超えないようにし、速度を落とす必要があるときは訓練を一時停止したりモデルを保留したりしているという。

同氏の声明では、研究・テスト環境のセキュリティ強化、責任あるタスク遂行をモデルに訓練すること、第三者評価者との協力拡大、訓練プロセス中の懸念行動を早期に検知・対応するためのリアルタイム監視の改善といった取り組みが挙げられている。

アラインメントと外部の圧力

ロビンソン氏は文化の変更にとどまらず、アラインメント（AIの目標や挙動を人間の価値観に沿わせる研究）についてより大きな問いを立てるべきだと主張する。同氏自身、「感傷的に聞こえるかもしれない」と認めつつ、現状の「AIシステムが人間の価値観にどれだけ合致しているか」を測る尺度は粗いと述べている。

こうした問題が未解決のままモデルを賢く育てれば育てるほど、状況は危険になると同氏は警告する。また、同氏はAI内部告発の定石とされるPR会社の起用も認めているが、「声を上げる決断は私自身のものだ」と強調した。

同氏は「留まって人材と文化の根本的な変化のために戦うべきだったかもしれないが、実際には同僚も自分も疾走するのに忙しく、大きな変化を考える機会はほとんどなかった」と述べ、外部からの安全への強いインセンティブが必要だとの結論を示している。

業界全体の文脈

ロビンソン氏の主張は、OpenAIとAnthropicの両方で研究員を務めた後に退職し、これらの企業が「私たちの命で賭けをしている」と述べたジェイコブ・コクソン氏の発言と重なる部分がある。コクソン氏の発言はAI安全性をめぐる議論を広げ、Anthropicのダリオ・アモデイCEOはより慎重なAI開発の計画を公表した。

また記事によれば、今週にはAI企業の経営者がトランプ大統領と会い、より多くの安全対策を実施するという拘束力のない誓約に署名した。記事はその文書を「急ぎで書かれたように見える」と表現している。ロビンソン氏は、議論は「特定の規則や新しい法律」を超え、企業全体の文化に向き合うべきだとしている。

OpenAIに関する報道は、サム・アルトマンCEOが元同僚の信頼を失った経緯に焦点が当たりがちだが、同氏の寄稿は、OpenAIの文化の問題がシリコンバレー全体の問題と同じだという見方を示している。