- OpenAIはEUの透明性規則に対応する電子透かし「textGrain」を10月に公開した
- 約150語の文章では検出率が約80%にとどまり、類語への置換で大きく低下する
- EU法は性能の数値基準を持たず、第三者による検証はこれから始まる段階だ
何が起きたのか
EUのAI法（AI Act）第50条が定める透明性義務が8月2日に発効し、合成音声・画像・動画・テキストを生成するシステムの提供者に対し、AI生成物だと検出できる機械可読な形式で出力を標示することが求められるようになった。OpenAIはこれに対応するため、10月にテキスト用の電子透かし「textGrain」を公開した。
IEEE Spectrumが報じた内容によれば、このtextGrainは短い文章や、後から編集が加えられた文章では検出が難しくなる。EUの規則は透かしがどの程度の精度で機能すべきかを数値で定めていないため、textGrainが要件を満たすかどうかは現時点では判断できない状況だ。
透かしの仕組み
AIモデルは、それまでに書かれた文章をもとに次に来るトークン（単語や単語の断片）の確率を計算し、その中から1つを選ぶ処理を繰り返して応答を作る。textGrainの技術レポート共著者でペンシルベニア大学のポスドク研究員であるXiang Li氏の説明では、「today the weather is…」という入力の後、モデルは「warm」や「cool」などを次の語の候補として重みづけする。
電子透かしは秘密鍵を使って擬似乱数（数学的な手続きで作られる数値）を生成し、どのトークンが選ばれるかに影響を与える。同じ秘密鍵を持つ検出器だけが、文章の中に現れる統計的なパターンを見つけられる仕組みだ。
textGrainの特徴は、モデルの語の選び方がどれだけ不確実かを示す「エントロピー」を、透かしを埋め込む際に配分できる資源として扱う点にある。開発者は許容するエントロピーの量を指定でき、textGrainはその目標に合わせて動作を調整する。Li氏は、検出可能な信号を埋め込むことと、モデル出力の多様性を保つことのバランスを制御しやすくなると説明している。
検出率の限界
OpenAIのテストでは、/r/explainlikeimfive の投稿から集めた心理学の質問を使い、200トークン（約150語）の文章で約80%、400トークン（約300語）の文章で95%の検出率だった。透かしのない文章を誤って検出してしまう確率（偽陽性率）は1%に設計されている。
編集には弱い。400トークンの文章で語の10%を類語に置き換えると検出率は92%から66%に下がり、25%まで置き換えると17%まで落ちた。透かしは直前のトークンに依存するため、1語を変えるだけで複数の位置で信号が乱れるとLi氏は説明する。短い文章では検出の手がかりが足りず、計算量を増やしても解決が難しいという。
EU規則との距離
EU AI Act第50条は、技術的な解決策について「技術的に可能な範囲で実効的、相互運用可能、堅牢かつ信頼できる」ことを求めている。一方、順守方法を示す任意の「Code of Practice」では、200トークン未満の出力には透かしを要求していない。
AI倫理が専門のThomas Souverain氏（パリのInstitute of Advanced Educationのポスドク研究員）は、法律の解釈の余地が大きいと指摘する。同氏はtextGrainの初期の手法は信頼でき、競合より優れている可能性があるとしつつ、OpenAIの比較結果は自社テストによるもので独立検証を受けていないと話す。
OpenAIはコーネル大学のJohn Thickstun助教や、スロバキア・ブラチスラバのKempelen Institute of Intelligent Technologies（KInIT）の研究者ら限られたグループにアクセスを提供している。だが両氏はアクセスを得たばかりで評価はまだ始まっていないと述べている。要件を満たさないと判断された場合、OpenAIは年間収入の最大7%の制裁金を課される可能性があるとSouverain氏は指摘する。
残る不透明さ
現時点で分かっていないのは、textGrainがEUの透明性要件を満たすかどうかだ。性能を測る閾値が法律になく、査読付きの論文もまだ出ていない。Souverain氏は、研究者が外部から弱点を見つけられるよう、textGrainをオープンソースにするようOpenAIに求めている。
OpenAIは、電子透かしだけではAI生成かどうかを判断するのに十分ではないとして、メタデータのコンテンツクレデンシャルや、Google DeepMindが画像・音声向けに開発したSynthIDと組み合わせて使う位置づけを示している。IEEE Spectrumのコメント要請にOpenAIは応じていない。
| 条件 | 検出率 |
|---|---|
| 200トークン（約150語） | 約80% |
| 400トークン（約300語） | 95% |
| 400トークン・語の10%を類語に置換 | 66%（置換前は92%） |
| 400トークン・語の25%を類語に置換 | 17% |
| 透かしなしの文章（偽陽性） | 1% |
We can think of entropy as a resource, a kind of money. […] In our approach, we can accurately determine how much of that resource we want to consume.
エントロピーは資源、ある種のお金のように考えられます。（…）私たちの手法では、その資源をどれだけ使いたいかを正確に決められます。
今後の見通し
KInITのDominik Macko氏のチームは、さまざまな分野・言語・文章の長さでtextGrainの堅牢性を試す予定だ。独立した評価結果が出れば、短い文章や編集後の検出率が実用上どこまで許容できるのか、判断の材料になる。加えて、EUがCode of Practiceなどを通じて性能の測定方法や閾値を具体化するかどうかが、適合判断の分かれ目になるとみられる。textGrainがオープンソース化されるかも、外部検証の進み方を左右する。
日本の開発者・IT企業にとっての意味
EU向けに生成AIサービスやコンテンツ制作を手がける日本企業にとって、出力の来歴表示は契約・法務・実装の三段階で影響する論点になりつつあります。今回の数値が示すのは、短いテキストや人手で編集したテキストでは透かしによる判定が難しいという現実です。チャット応答、SNS投稿、商品説明の下書きなど、短く頻繁に編集される文章を大量に扱う業務ほど、透かしだけに頼った検査は誤判定のもとになります。メタデータによる来歴記録や、生成ログの保存といった別の手段を組み合わせて設計しておくことが実務上の備えになります。加えて、独立検証の結果とEU側の基準の具体化を継続して追う必要があります。
気になる点
- EU向けにAIサービスを提供する日本企業にも、この透かしは関係しますか
- 原文で確かなのは、EU AI Act第50条が合成テキストなどの提供者に機械可読な標示を求めており、任意のCode of Practiceでは200トークン未満の出力は対象外とされている点です。日本企業への適用範囲や具体的な順守方法はこの記事では触れられておらず、現時点では公表情報を待つ必要があります。
- textGrainは自社モデルに組み込めますか。費用はかかりますか
- 原文には公開方法・ライセンス・料金の記載はありません。現段階では技術レポートが公開され、限られた研究者にアクセスが提供されている段階で、Souverain氏がオープンソース化を求めているところです。利用条件は現時点では公表されていないと考えるのが妥当です。
- 検出率が下がるなら、実務ではどう運用すればよいですか
- OpenAI自身が電子透かし単体ではAI生成かどうかの判断に十分ではないとしており、メタデータのコンテンツクレデンシャルやSynthIDと組み合わせる方針を示しています。また偽陽性率は1%に設計され、検出結果が負でも人間が書いた証明にはならない点に注意が必要です。
用語解説
- 電子透かし
- 生成物に人間には見えにくい形で識別情報を埋め込み、後からAI生成かどうかを判定できるようにする技術。
- トークン
- モデルが扱う文字列の単位。単語や単語の一部に相当し、言語によっては数文字程度になることもある。
- エントロピー
- ここではモデルの次の語の選択がどれだけ不確実かを示す尺度。値が高いほど予測しにくい。
- SynthID
- Google DeepMindが画像や音声などの生成物向けに開発した電子透かし技術。
- EU AI Act
- EUの人工知能規則。第50条はAI生成物の透明性表示を義務づける。
- コンテンツクレデンシャル
- コンテンツの作成者や編集履歴をメタデータとして記録する仕組み。
出典
AI Text Watermarking May Not Be Able to Meet the EU’s New Rules
https://spectrum.ieee.org/ai-watermark-openai-textgrain-europe
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する