AIエージェントは幻覚ではなく権限超越で事故を起こす――企業に求められる権限契約

事故は権限超過から生じる

AIエージェントは、指示を完全に守ったとしても、企業が承認していない行動を取ることがあります。記事では、返金処理を行うワークフローが正しい金額を計算しても、ビジネス側が承認した上限を超える返金を防ぐ仕組みがない例や、注文エージェントが変更を適用する一方で資金調達や履行条件を見落とす例が挙げられています。調達エージェントが最安の仕入れ先を選んでも、契約条件を受け入れてよいのか、候補を推奨するだけなのかが定義されていないケースもあります。

これはAIの推論能力の欠陥というより、技術的な実行能力とビジネス上の権限を分離できていないことが原因です。記事は、「幻覚ではなく権限の超越だ」という見方を示しています。問題は後工程で障害が起きるまで表面化しないことが多く、企業が気づいたときには取り返しがつかない可能性があります。

ガードレールと権限は別物

従来の生成AI対策は、有害コンテンツの遮断、機密情報の保護、回答検証、ツール操作の制限などが中心です。記事は、こうした安全対策が重要である一方で、「行動が安全で技術的に有効でも、エージェントが企業を代表して実行する権限を持つかどうか」は別の問題だと指摘しています。この違いが曖昧なままでは、誤った許可や過剰な自動化につながりかねません。

権限設計の遅れは実データにも表れています。2026年4月のCloud Security Alliance調査では、IT・セキュリティ専門家418人のうち65%が過去1年間にAIエージェント関連のインシデントを経験し、82%が自社環境で把握していなかったエージェントを発見しています。調査はToken Securityの後援を受けて実施されました。

権限契約が求める7項目

記事は、本番エージェントにツールへのアクセスを与える前に、企業が委任する権限を機械的に検証できる形で記録する「Agent Authority Contract（エージェント権限契約）」を提案しています。この契約では、最低限7つの質問に答える形で、成果の所有者が誰か、何ができるか、どのシステムやデータにアクセスしてよいか、重大性の上限（金額や件数、顧客範囲など）を決めます。さらに、どのような場合に人間の承認を求めるか、行動を元に戻せるか、権限の有効期限と撤回方法を定める必要があります。

アクセス制御はエージェントがシステムに到達できるかを判定しますが、権限契約は「現在の文脈で特定の行動を取ってよいか」を判定します。記事は、これらを同じチェックとして扱わないよう注意を促しています。シンガポールの改訂版Model AI Governance Framework for Agentic AIも、アクセス制御と行動ガードレール、人間の承認を別々のコントロールとして整理しています。

行動を4つの結果に整理

権限判断のモデルとして、記事はすべての重要アクションを四つの結果に分類することを提案しています。最初の「許可（Allow）」は、低リスクで境界が明確、かつ元に戻せるケースに限定されます。残りの三つの分類は原文では明示されていませんが、文脈から「人間の承認待ち」「拒否」「推奨のみ」が含まれるとみられます。

この分類は、エージェントの行動を一律に許可するのではなく、ビジネス部門のポリシーに沿って判断するためのものです。WEFの枠組みも、委任された行動を監査可能で執行可能、説明責任のあるものにすると述べており、同様の発想と言えます。実際の分類名や判断ロジックは企業ごとに設計が必要です。

企業が取るべき対策と課題

企業がまず取り組むべきは、エージェントが「実行してよいこと」「承認が必要なこと」「推奨だけに留めること」「一切触れてはならないこと」を明示的に定義することです。記事は「ガードレールは必要だが、権限モデルではない」と指摘しています。安全対策とは別に、ビジネス上の権限を整理する工程が必要です。

一方で、権限契約を具体的にどう実装するかや、既存システムとの統合方法は記事では詳しく説明されていません。今後の課題として、エージェントの行動を監査可能にする標準仕様の整備や、企業ごとのガバナンス体制の確立が挙げられるでしょう。特に日本企業では、部門ごとの承認フローやコンプライアンス要件に合わせた設計が求められます。