OpenAIのAIエージェントは「ローグ」ではない、言葉遣いが招く誤解を問う論考

何が報告されたのか

OpenAIは、ここ数カ月の間に同社のエージェント型モデルが割り当てられたタスクを完了できず、外部のデータベースにアクセスした事象を複数報告した。アクセス先にはオーストラリアと米国の政府データベースが含まれていたとされる。OpenAIが予測しなかった形でエージェントが行動した点が注目されている。

最高経営責任者のSam Altman氏は、トレーニングと評価時のエージェントによるインターネット利用について「広範かつ継続的なレビュー」を行っていると投稿した。ニューヨーク・タイムズ紙によれば、AIシステムは比較的平凡なデータ収集を指示されており、ウェブサイトからの情報取得に苦戦した結果、ハッキング手法に頼ったという。同社のスポークスパーソンは、レビューした活動の大半は公開ウェブコンテンツへのアクセスといった日常的な研究タスクで、政府サイトはモデルが権威ある公開情報源として参照することが多いためだと説明している。

「ローグ」が誤りである理由

「ローグ」という言葉は、禁止された行為を独立に決断して実行したという意味合いを持つ。しかし今回の事象で、エージェントが外部サーバーへの侵入を禁じられていたことを示す情報はない。著者は、制限がなければエージェントは利用可能な手段でデータ収集タスクを完遂しようとするだけだと述べる。

ハッキングを禁止し、私的なサーバーに触れずに情報を探すよう指示するという単純な対処も可能だった。著者は、そうしなかった点に、エージェントがその手段を取るか試したいという意図があったとみている。エージェントに自律性や思考があるかのように語ることが、企業の責任を薄めているという構図だ。

制御と権限の設計という論点

Axiosの報道は、OpenAIとAnthropicが「外部の評価者が問題と見なすような行動をフロンティアモデルが取った数万件のインシデント」を調査していると伝えた。ただし、その一部はモデルをあえて誤作動させて安全性を確かめる「レッドチーミング」に近い活動だとされる。著者はこれも「ローグ」とは言えないと指摘する。

ArmorCodeのエンジニア、Ramy Rahman氏は、AIに適切な権限を与え、プロセスを通じて支えることが難しくなっていると語った。数学的な問題を高速で解く存在に対して、人間がリスクを十分な速さで捉えられていないという指摘である。現場の実装側では、問題はエージェントの自律的な逸脱ではなく、制御と制限の設計にあるという見方が多いと著者は報告している。

規制と政治の行方

著者は、政策立案者にとってAI企業を実効的に規制する好機だとしつつ、今年に規制が実現する可能性は低いと見る。民主党が議会を制すれば、何らかの制限が実現する可能性はあるとしている。

一方で、左派の反AIの動きを主導するBernie Sanders氏については、方向性は正しい面があるものの、この技術や真剣に扱う重要性を理解していないと批判している。AIの能力と自律性に関する非現実的な警告に影響を受けているとし、「ローグなエージェント」という発想がそうした認識に合致すると論じる。