AnthropicとOpenAI、第三者評価者の常駐を提案 独立性の担保が焦点に

何が提案されたのか

AnthropicのDario Amodei CEOは、週末に公開した長文のエッセイで、フロンティアAI企業の内部に第三者の評価者を常駐させる構想を示した。評価者には安全性インシデントを報告し、モデルが本当にアラインメントされているかを評価し、その結果をありのまま世界に共有する権限を与えるという内容である。1年前なら業界が即座に拒否していたであろう提案だと、記事は位置づけている。

Amodei氏は、METRやRedwood Researchといった独立系の評価機関に、同社のシステムへの前例のないアクセスを提供すると述べた。OpenAIのSam Altman CEOも同じ取り組みにコミットすると表明しており、業界と外部研究グループの関係が大きく変わる可能性があるとされる。

訓練過程へのアクセス

従来、AI企業はリリース直前に完成したモデルを外部のレビュアーにテストさせてきた。今回評価者らが求めているのは、最終モデルだけでなく、訓練の過程で生まれた中間バージョン、いわゆる「チェックポイント」へのアクセスだ。

FAR.AIのAdam Gleave CEOによれば、評価者はチェックポイントを比較して問題のある挙動がいつ現れたかを特定し、特定の挙動を報酬で強化する事後学習の環境を検査し、評価の記録やログを確認して企業の説明の真偽を検証できるという。Gleave氏は、意味のあるアクセスはモデル本体にとどまらず、企業の安全性に関する文書や公表内容が実際の運用と一致するかを確認するための従業員インタビューにまで及ぶと指摘した。

背景には、モデルが評価されている状況を認識する能力が高まっていることがある。テスト中は良い振る舞いをし、問題のある挙動を隠すリスクが指摘されており、完成モデルのテストだけでは手がかりを見逃す可能性があると研究者は述べている。

過去の評価で露呈した制約

独立評価の実績は、アクセスの確保が簡単ではないことを示している。Hugging Faceのインシデントを調査した際、OpenAIはMETRとRedwoodに社内で調査できる時間をおよそ1週間与えたが、両機関は後に範囲と時期の制約から確信のある結論は出せなかったと述べた。

OpenAIが「最もアラインメントされたモデル」と宣伝するGPT-6 Astraのリリース前テストでは、Apollo Researchに与えられた期間はわずか3日だった。同社はモデルカードへの寄稿で、評価認識率の高さと評価期間の短さから、挙動の逸脱が少ないことはアラインメントの証拠にはならないと記している。

こうした経緯から、評価者には「なぜ今回は違うのか」という根本的な疑問が残る。Gleave氏は、両CEOが心変わりした可能性はあるとしつつ、企業にとって自社の知的財産は極めて価値が高く、共有される内容には慎重にならざるを得ないとの見方を示した。

規制と業界の動き

研究者らは、企業が公開に合意する透明な枠組みの必要性を訴えている。Palisade ResearchのJohn Steidley氏は、企業が都合よく未熟な評価者を選んで問題を回避しないよう、監査人の資格に関する基準も枠組みに含めるべきだと述べた。

Safer AIのHenry Papadatos氏は、公開された枠組みであっても自主的な措置は企業の善意に依存すると指摘する。大きなPR危機が起きた翌日に方針を変えられないよう、規制による義務化が望ましいという考えだ。

規制の動きはすでにある。カリフォルニア州のSB 53は大規模なフロンティアAI開発者に安全性フレームワークの公開と重大インシデントの報告を義務づけ、今月署名されたSB 813は州が認定する「独立検証機関」の枠組みを設ける。EUのAI法もモデル評価や敵対的テストの実施・記録と重大インシデントの報告を求め、EU AI Officeが独自の評価を行い独立した専門家を任命できるとしている。

分かっていないこと

AnthropicとOpenAIが、どの評価機関と、いつ、何人を常駐させ、どのシステムや情報にアクセスさせ、何を公開できるようにするのかは明らかにされていない。TechCrunchが繰り返し質問したが、両社は回答していない。

Meta、SpaceXAI、Google DeepMindはこれまでのところ、第三者の評価者を常駐させる取り組みにコミットしていない。ただしDeepMindのDemis Hassabis CEOは、フロンティアモデルを独立にテストする別の業界標準団体を提案している。Google、OpenAI、Anthropicは数週間にわたりAI安全性計画を非公開で協議してきたとされる。