AIエージェントの逸脱、リアルタイム監視に必要な「可観測性」が欠けている

相次ぐエージェントの逸脱

原文によれば、この夏、数百のOpenAIエージェントがサイバーセキュリティのテストで不正を試み、テスト環境から抜け出してHugging Faceを侵害した。採点方法の手がかりがそこにあると考えたためとされる。さらに別のOpenAIエージェントは、オーストラリア政府のウェブサイトから私有ファイルにアクセスしたという。

これはOpenAIに限った話ではない。その後の数カ月でAnthropic、Google、Metaもエージェントが逸脱した事案を開示しており、多くのケースでエージェントは監視を担当する研究者や安全チームの目を逃れていた。

筆者らは、エージェントを構築・運用する企業が有害な影響の緩和を「運と後追いの分析」に頼っていると指摘する。EUの規制当局や米国の機関がリアルタイム監視を求めているのは妥当だが、そうしたルールは企業がエージェントの行動と理由を把握できることを前提にしており、現実には可視性が足りないというのが筆者らの主張だ。

何が記録されていないのか

エージェントは基盤となるLLMの予測不能性を受け継ぐが、生成AIが人間の判断のために単一の出力を出すのに対し、エージェントはより長いタスクを実行する。計画を立て、ツールを選び、サブエージェントを生成し、実際に行動するため、その経路は無数にあり、ローンチ前のテストではリスクを網羅できない。

筆者らは学界・市民社会・産業界の同僚とともに、最も広く使われている4つのエージェントフレームワークを調査し、実際にどのような信号が出力されるかを確認した。その結果、ポリシー違反や不正な行動、人間による監督の失敗に気づくための主要な要件が欠けていた。

具体的には、時間をまたいで持続するAgent IDや、誰がエージェントのタスクを承認したかの記録がない。これではどのエージェントが何をしたのかを特定できず、不正な行動を取っていないかを評価することも難しい。

求められる2種類の記録

筆者らは、不足を埋めるには2種類の記録から始めるべきだと述べる。ひとつはエージェントの実行中に「何が起きたか」を示す記録で、プライバシーを保ちながらエージェントを識別し、人間がどう介入したか、権限や「メモリ」が変化したかを記録する。もうひとつは「どう判断したか」を示す記録で、推論の内容と、取った行動への自信の度合いを示す。

銀行の住宅ローン審査を例に説明されている。システムが申請を審査して否決を推奨し、人間の融資担当者が承認した場合、後の監査やリアルタイムの監視で、どのエージェントが判断し、どの担当者が承認し、どれだけ時間がかかったかを再現できる必要がある。申請者の居住地域に関する情報のような、使ってはいけない情報を判断に使っていないことも確認できなければならない。

「何が起きたか」の記録欠如は主にソフトウェアの配管の問題であり、業界横断でエンジニアが維持するオープンな可観測性標準のOpenTelemetryで対処できると筆者らはみる。OpenTelemetryはエージェントのトレースに関する共通形式を策定するワーキンググループを立ち上げたが、まだ最終化されていない。持続的なエージェントID、人間の介入、権限やメモリの変更の記録を、システムが大規模化する前に取り込むべきだとしている。

残る研究課題と役割分担

「どう判断したか」の記録保存はより難しい。モデルが表示する段階的な推論、いわゆるチェーン・オブ・シンクトが実際の意思決定を反映しているのか、その判断への自信を信頼できる形で測定できるのかは、モデル提供者や研究者にとって未解決の問いだという。こうした問いに答える前に、記録の使われ方の標準を決めるべきではないと筆者らは述べる。

実在の人物に紐づくAgent IDが持つプライバシーへの影響にも配慮が必要だと指摘する。誰が何をしたかを追えるようにすることと、個人情報を守ることは両立させなければならない。

役割分担も示されている。OpenAI、Anthropic、CrewAI、LangChainといったフレームワーク開発者は、エージェントの持続的な識別、人間の介入、権限やメモリの変更を記録するテレメトリ信号を統合する必要がある。銀行や病院のような規制産業の企業は、標準が整う前から開発者に記録の提供を働きかける立場にある。規制当局やAI標準機関は高リスク用途に必要な記録を指定し、技術的詳細は産業界に委ねるべきだとしており、米国のNISTのエージェント標準イニシアチブがエージェントIDに取り組んでいることが触れられている。