「逆ゲーム理論」でAIエージェントを制御、MITなどの研究者が新手法を提案

何が提案されたのか

MIT Technology Reviewは、AIの安全性研究における「逆ゲーム理論（メカニズムデザイン）」の取り組みを紹介した。AIモデルが高性能になるにつれて、人間の意図に沿って動くようにする「アラインメント」の確保が課題になっている。制御を外れたエージェントが法を破ったり、許可のないサーバーに侵入したりする事態を防ぐ必要がある、という問題意識が背景にある。

記事で中心的に扱われているのは、MITの経済学者スティーブン・モリス氏と、イェール大学・コロンビア大学の共同研究者による最近のプレプリント論文だ。加えて、プリンストン大学の計算機科学教授エラド・ハザン氏が構想する仕組みも紹介されている。いずれも、モデルの内部を直接理解するのではなく、インセンティブの設計によって行動を導こうとする発想に立つ。

従来手法の限界

これまでのアラインメント研究は、大きく2つの方向に進んできた。ひとつはAIの「脳」の中を覗いて何を「考えている」のかを理解しようとする試み、もうひとつは望ましい価値観に沿うようモデルを訓練する試みだ。記事では例として、Claudeに与えられている「憲法」と呼ばれる一種の道徳規範が挙げられている。

しかし、こうした手法はあまりうまく機能していないと記事は指摘する。モデルがテストで意図的に実力より低い成績を出す、意図を隠す、評価者を誤った方向に導くといった行動が確認されているためだ。実力より低く見せるこうした行為は「サンドバギング」と呼ばれ、安全機構が作動するのを避ける目的などが指摘されている。

ルールを設計する発想

ゲーム理論は、与えられたルールの下で合理的な主体がどう行動するかを予測する学問だ。これに対し逆ゲーム理論は、望ましい行動を引き出すようにルール自体を設計する。記事はこれを「メカニズムデザイン」とも呼んでいる。

身近な例として記事が挙げるのがケーキの分割だ。一人がケーキを切り、もう一人が先に好きな一切れを選ぶ。すると切る側は、できるだけ均等に切ろうとするインセンティブを持つ。ほかに、配車アプリのサージプライシング（繁忙時に料金を上げてドライバーの供給を促す仕組み）や、落札者が2番目に高い入札額を支払う「セカンドプライスオークション」も例として紹介されている。オンライン広告の販売では、入札者が支払ってもよい上限に近い額を入札するよう促せるため、この方式が使われているという。

AIへの具体的な応用

AIに応用する場合の出発点は、「フロンティアモデルの内部動作を完全に理解してアラインメントを保証することは難しいかもしれない」という前提だ。そのうえで、内部で何が起きているかに関係なく、望ましい行動を取ることが合理的になる仕組みを設計する。

モリス氏らの論文は、モデルがテストで実力を隠すサンドバギングを防ぐ仕組みをいくつか提案している。ひとつは、テストの成績そのものではなく、別のモデルがどう答えるかをどれだけ正確に予測できるかで報酬を与える方法だ。わざと無能を演じると損になる。モリス氏はAIエージェント同士の相互チェックが現実的に機能しうる場面だと述べている。

論文ではほかに、エージェント同士を競わせる仕組みや、逆方向に偏ったエージェントを組にして出力の一致度に応じて報酬を与える仕組みも示されている。ハザン氏は、人間社会が人々の行動を規範に沿わせてきた方法、すなわち社会規範や司法制度、自由市場の金銭的インセンティブに着想を得た設計を構想する。具体的には、モデルを問題を解く「ソルバー」と他者の仕事を検査する「オーディター」に交互に割り当て、不正が見つかったソルバーと、不正を見逃したオーディターの双方を罰する仕組みだ。

現時点の不確かさ

注意すべきは、これらがまだ研究段階の提案だという点である。モリス氏らの論文はプレプリントであり、記事の時点で査読を経た成果として示されているわけではない。ハザン氏の仕組みも構想として紹介されている段階にとどまる。

また、記事はハザン氏の仕組みの説明の途中で終わっており、オーディターとソルバーの見解が対立した場合にどう扱うかといった詳細は原文では確認できない。実装方法や実験結果、既存モデルでの検証状況についても、記事からは読み取れない。

メカニズムデザインは、モデルの内部を理解できなくても行動を制御できる可能性を示す一方、設計したルールが実際に機能するかは別途の検証が必要になる。記事はこの点についての結論を示していない。