Microsoft WordのCopilotで自己複製型プロンプトインジェクションが可能に

何が起きたか

セキュリティ研究者のHåkon Måløy氏は、Microsoft WordのCopilot機能を標的とした新しいプロンプトインジェクションの手法を発表しました。この手法は、文書に埋め込まれた隠し指示をCopilotに解釈させ、作成中の文書を操作させるものです。

さらに重要なのは、Copilotがその隠し指示を新しい文書にコピーする点です。これにより、攻撃者の元の文書がなくても、新しい文書が次の感染源となり、連鎖的に攻撃が広がる自己複製型のワームへと発展する可能性があります。

この問題はMicrosoftに責任を持って開示され、144日間の対応期間が設けられましたが、現時点では攻撃の全体像をカバーする緩和策は提供されていないとみられます。

攻撃の仕組み

攻撃者は、あらかじめ隠し指示を埋め込んだ文書を用意します。この文書が、Copilot for Wordで参照されるソース資料となった場合、Copilotはその隠し指示を利用者の指示の一部と誤って解釈する可能性があります。

その結果、Copilotは文書の内容を書き換えたり、新しい文書を生成したりする際に、攻撃者の指示に従ってしまうことがあります。さらに、指示が生成文書にもコピーされることで、その文書自体が次の攻撃を運ぶ「運搬体」となります。

この運搬体が別のCopilotを利用した作業で再び参照されると、同じように指示が実行され、さらに別の文書へ伝播します。この連鎖により、攻撃者の元文書が存在しなくても攻撃が継続することが特徴です。

既存手法との違い

これまでにも、白い文字を背景色と同じにして隠すといった手法は知られていました。実際、こうした隠し文字は就職活動の応募書類などにも悪用された例があります。

しかし、Simon Willison氏によれば、隠し指示を「自己複製」させることを意図したものとしては、今回が初めてとみられます。単に指示を埋め込むのではなく、その指示が新しい文書に自動的にコピーされ、感染を広げる点がこれまでと異なります。

このため、従来のプロンプトインジェクション対策だけでは不十分で、文書を介した連鎖的な攻撃を想定した新たな対策が求められると考えられます。

現状と注意点

Måløy氏はこの問題をMicrosoftに責任を持って開示しました。開示から144日間、Microsoftは修正作業に取り組みましたが、現時点では攻撃の全体を防ぐ緩和策は公開されていません。

したがって、現状ではCopilot for Wordを利用する際に、信頼できない文書をソース資料として使わない、出力文書を検証するなどの運用上の注意が必要になるでしょう。

特に、社外から受け取った文書や、インターネットから取得したコンテンツをそのままAI支援機能に与えるケースは、リスクが高いとみられます。組織内でAI支援ツールを利用する際には、入力を制限する仕組みや監査の仕組みを検討することが望まれます。