AIウォーターマーク「SynthID-Text」が安全性を変える可能性 研究が指摘

何が報告されたのか

EUの新しい法律を受けて、AIプラットフォームは生成コンテンツにウォーターマーク（電子透かし）を入れる仕組みの実装を進めている。Anthropicは、将来のClaudeモデルでSynthID-Textを採用すると最近明らかにした。これはGoogleが開発し、オープンソースとして公開した方式である。秘密鍵を使って、モデルが文中の次の語を選ぶプロセスを微妙に変える仕組みだ。

SynthID-Textでは、最有力の次語候補が例えば「cloudy」だった場合、鍵によって「overcast」に変わることがある。鍵を知っている人だけが、その出力がそのプラットフォームで生成されたものかどうかを判定できる。

新しい研究は、この方式が語の選択だけでなく、モデルが呼び出すツールや、訓練された安全ガードレールに従うかどうかの確率も変えうることを示した。攻撃者がパスワードなどの機密情報を引き出そうとする敵対的プロンプト（プロンプトインジェクション）に対しては、脅威がより大きくなる。通常なら従わない指示が、ウォーターマーク導入後には実行されてしまう場合があるという。

記事は、開発者に対し、ウォーターマークを入れた状態で自社のLLMやエージェントがどう振る舞うかを徹底的にテストする必要があると指摘している。

SynthID-Textの仕組み

ウォーターマークは、出力がAI生成であると識別できる信号、いわゆる来歴（provenance）を埋め込む仕組みである。SynthIDは通常のサンプリング処理に、乱数シード生成器、サンプリングアルゴリズム、スコアリング関数を追加する。次語の選択に任意の乱数生成器を使う代わりに、秘密鍵を用いる点が特徴だ。選択自体はランダムだが、鍵を知る人は語の並びを調べて、その鍵が使われた可能性を判定できる。

SynthIDの中心にあるのがトーナメントサンプリングである。スポーツの試合のように、多数の次語トークン候補を評価し、秘密鍵を使って確率スコアを割り当てる。2つのトークンが1回戦で競い、隠されたスコアが高い方が次の回戦に進む。この過程を繰り返して、最終的に勝ち残ったトークンが選ばれる。

拒否行動とツール呼び出し

Lasso SecurityのAIセキュリティ研究者Andrea Siposova氏は、Hugging Faceの未修正のSynthIDTextWatermarkLogitsProcessorを通じて、SynthID-Textの「非歪曲（non-distortionary）」構成を検証した。6つのオープンウェイトモデルに有害なプロンプトを入力し、ウォーターマークあり・なしの応答を比較した。その結果、透かしは有害な要求への応答を変え、特にプロンプトインジェクションと組み合わせた場合に効果が顕著だった。

同氏は「ウォーターマークは単独の有害リクエストに対する拒否行動を変えるが、同じリクエストをプロンプトインジェクション手法と組み合わせると影響がより顕著になる」と書いている。複数のモデルで、通常なら拒否する有害な要求に応じてしまう可能性が高まったという。

影響はモデルの応答にとどまらない。サンプリングされた同じトークンが、エージェントがどのツールを呼び出し、どの引数を渡すかを決める。拒否が弱まる一方でモデルがツールを通じて行動できるため、帰結はより大きくなる。同氏はこの行動上の効果を「サンプリングドリフト（sampling drift）」と呼んでいる。どの秘密鍵を使うかによってモデルの応答が異なることも分かった。

研究の限界と未検証点

この研究には限界がある。Claudeモデルの応答がウォーターマークでどう変わるかは検証していない。代わりに6つのオープンウェイトモデルを対象に、トーナメントサンプリングを有効・無効に切り替えつつ他の設定を固定できる環境で実験している。実験で使われたのはHugging FaceによるSynthID-Textの実装であり、Claudeモデルが使う具体的な実装ではない。

それでも、少なくとも一部のウォーターマーク方式がモデルとエージェントの安全性に影響しうることは示された。記事は、SynthIDを導入したプラットフォームが期待どおり動作するかを確認するため、レッドチームによるハッキング演習でストレステストを行うことが重要だと述べている。