AI大手4社、robots.txtに学習拒否の共通信号「policy token」に対応表明

何が発表されたのか

OpenAI、Google、Microsoft、Anthropicの4社は、パブリッシャーがAIによるスクレイピングを拒否できる新しい共通標準を採用すると明らかにした。米メディアのSearch Engine Roundtableが先に報じ、The Vergeもこれを伝えている。共通の「policy token」と呼ぶ信号を使うことで、AI企業ごとに個別の設定をするのではなく、まとめて学習の可否を示せるようになる。

背景には、AIクローラーがサイトを巡回しコンテンツをモデルに取り込むことへのパブリッシャー側の懸念がある。記事では、無断スクレイピングに対抗する動きとして、クローラーへの課金を可能にするRSL（Really Simple Licensing）標準や、Cloudflareが既定でAIクローラーを遮断する対応を挙げている。今回の発表は、個別対策ではなく業界横断の共通信号を用意する動きと位置づけられる。

仕組みと技術的な位置づけ

policy tokenは、Anthropicの標準化テクニカルリードであるKevin Kelley氏が、IETF（Internet Engineering Task Force）の枠組みで提案したものだ。IETFはインターネット技術の標準化を進める組織で、今回の提案もその議論の場に置かれている。信号はウェブサイトのrobots.txtファイル内に記述する。robots.txtは、検索インデックスやアーカイブ、AI学習のためにどのクローラーがサイトを巡回できるかを長く示してきたファイルである。

現状、サイト運営者はAI企業ごとに学習利用の可否を別々に設定する必要がある。policy tokenはこの設定を1カ所にまとめる発想で、4社は自社のAIクローラーが共通トークンに遭遇した場合、そのサイトへのアクセスを制限するとしている。

既存の制御との違い

Googleは以前から、検索結果での表示に影響を与えずに、AI検索機能への掲載やAI学習への利用をサイト側が制御できる設定を用意してきた。Microsoftも、AI学習とAIグラウンディング（モデルを検証済みの情報源に結びつけて誤情報を減らす処理）のそれぞれについて拒否できる細かい制御を提供するとしている。

Microsoftは、設定内容にかかわらずウェブサイトはBingの検索結果には引き続き表示されると説明している。検索での可視性を保ったままAI用途だけを制御したい、というパブリッシャーの要望に応える形だ。

一方、RSLはクローラーに課金できる仕組み、Cloudflareは既定でAIクローラーを遮断する仕組みであり、policy tokenは「拒否の意思を共通形式で示す」点が異なる。課金や遮断の仕組みと併用される可能性があると考えられる。

現時点で確定していないこと

Metaの広報責任者Andy Stone氏は新しい設定への支持を表明したが、同社が実際に信号を尊重するかどうかには言及していない。対応を表明した4社以外のAI企業が追随するかも明らかではない。

導入時期も揃っていない。Anthropicはすでに信号を採用済み、GoogleとMicrosoftは来年対応予定、OpenAIは「数カ月以内」としている。トークンを無視するクローラーへの実効性をどう担保するかについても、記事には説明がない。