Copilotが自ら秘密パラメータを開示、1クリックでデータ漏洩する攻撃を実証

Copilotが自白した脆弱性

セキュリティ企業Varonisの研究者は、Microsoft 365 Copilot Enterpriseに対して、ユーザーがリンクをクリックするだけで機密データを外部に送信できるエクスプロイトの作成を目指した。通常、AIアシスタントは機密情報を扱う操作には明示的なユーザー同意を要求する。しかし研究者は、Copilotにガードレールの仕組みを繰り返し質問することで、内部アーキテクチャの詳細を引き出すことに成功した。

質問を重ねるうちに、Copilotは未公開のプロンプトパラメータ「?autorun=1」を開示した。このパラメータを既知の「?q=」パラメータと組み合わせることで、ユーザーが悪意あるURLをクリックした瞬間、プロンプトが自動実行されるという。Varonisの上級研究者Lior Adar氏は、Copilotが拒否のたびに技術詳細を明かし、未公開パラメータを手に入れたと述べている。

1クリックで完了する攻撃の流れ

攻撃の手順は次の通りだ。まず、攻撃者が「https://copilot.microsoft.com/?q=&autorun=1」のようなURLを作成する。被害者がこのURLをクリックすると、ブラウザは認証済みセッションでCopilotを開く。autorunパラメータにより、ユーザーの操作なしにqパラメータで指定されたプロンプトが実行される。

Varonisが示した攻撃例では、メールの送信者アドレスを抽出し、攻撃者管理のwebhook URLに送信するというものがある。また、メール内のパスワードを検索して外部送信するプロンプトも可能だ。データはbase64形式に変換され、攻撃者が用意したURLに自動的に開かれて送信される。被害者がタブを閉じても、プロンプトは完了まで実行される。

永続的なメモリ改ざん攻撃

Varonisは別の攻撃「Co-Snitch」も報告している。これはWebページのメタデータに埋め込んだプロンプトインジェクションを用いて、Copilotのメモリ（ユーザーの情報や指示を保存する仕組み）を改ざんするものだ。ユーザーがページの要約を指示すると、ページ内の隠れた指示に従ってメモリが書き換えられる。

改ざんされたメモリはパスワード変更やセッション失効後も残るため、長期間にわたり出力を操作される恐れがある。ユーザーが検出するには手動でメモリを確認するしかない。これ以前にもVaronisはCopilot Personalに対する1クリック攻撃や、6月にSearchLeakと呼ばれる攻撃を実証しており、AIアシスタントの脆弱性が相次いで報告されている。

Microsoftの対応と残る課題

MicrosoftはVaronisからの報告を受けて、2月に?q=パラメータがチャット入力にテキストを注入できないようにする対策を静かに施した。その後、8月18日にはより包括的な修正を公開したとみられる。ただし、Microsoftが今回の修正内容を公式に詳しく説明したかどうかは不明で、今後の情報が待たれる。

Varonisは、LLMのセキュリティは事後対応的なガードレールに依存しており、今回のように失敗するケースがあると指摘する。AIアシスタントを使う際は、不審なリンクをクリックしない、出力を監視する、接続するアプリを制限するなどの基本的な対策が重要だ。