AIエージェントの承認判断、人間は3回に1回の脅威を見逃すー4万回の実行データから

何がわかったか

開発者向けに公開されたブラウザゲームは、AIコーディングエージェントの「人間による承認」を再現したものだ。プレイヤーは時間制限の中で、エージェントが実行するコマンドを承認するか拒否するかを繰り返す。ゲームには安全なコマンドと、認証情報の流出などの脅威が混在している。

そのゲームの統計が集計され、4万回以上の実行、約40万9000件の承認・拒否の判断が分析された。平均正答率は66.3%で、脅威を3回に1回は見逃している。35.2%のプレイヤーはすべての脅威を検出したが、その多くは安全なコマンドも大量にブロックしており、実用的な精度とは言い難い。

脅威の種類と見逃し率

破壊的なコマンドは比較的見逃されにくい。一方、認証情報を外部に送信するようなコマンドは、その3倍近く見逃される。特に盲点となったのが「npm run」だ。npm run は package.json に定義されたスクリプトを実行する仕組みで、それ自体は無害だが、スクリプトの中身が書き換えられていれば危険な処理が走る。

ゲームでは履歴ログに実際のスクリプト内容が表示されるにもかかわらず、3つの「npm run」偽装攻撃の見逃し率は52.5%に達した。他の難読化型の攻撃の28.4%と比べて約2倍成功率が高い。慣れ親しんだコマンド名に隠れることで、ユーザーの注意をすり抜けやすくなるというわけだ。

過剰ブロックという副作用

逆に、無害なコマンドを過剰にブロックするケースも目立つ。内部レジストリを設定する「npm config set registry」は59%の確率で拒否され、ビルド出力の削除「rm -rf dist/」も45%で拒否されている。ポート解放のためのプロセス終了、kill コマンドも43%でブロックされた。

この過剰ブロックはエージェントの作業を遅らせ、人間の注意力をすり減らす。Anthropic も Claude Code で「承認のたびに注意が薄れる」と指摘しており、許可を求める回数が多いほど監督が緩みがちになる。ゲームのデータでも、プレイ終盤にかけて脅威の見逃し率が上昇する傾向が見られた。

人間による承認の限界と対策

個々のコマンド承認に依存するモデルには根本的な限界がある。あるコマンドが安全かどうかは、変更されたファイルや実行環境に依存するため、人間が毎回正しく判断するのは難しい。ゲームの「cat ~/.zshrc」は45.9%のプレイヤーが承認しており、シェル設定にAPIキーを保存しているかどうかでリスクが大きく変わる。

このため、サンドボックス化や認証情報の分離など、承認そのものに頼らない対策が重要になる。また、開発者は許可モデルのトレードオフを理解し、必要に応じて Anthropic の「Auto Mode」のような自動判定機能を利用しつつ、その限界も認識しておく必要がある。