TIME、AIクローラー向けに広告入りMarkdown版サイトを配信

AIボットに別のページを配信

作家で開発者のVincent Schmalbach氏は、TIMEのサイトにある健康記事を、同じ端末からUser-Agentを変えて繰り返し取得しました。User-Agentとは、ブラウザやボットが自身を識別するために送る文字列です。通常のブラウザであるChromeやSafari、そしてGooglebotでは、人間向けの完全なHTMLが返されました。そのサイズは約303,235バイトでした。

一方、ClaudeBot、PerplexityBot、OAI-SearchBotといったAIアシスタント向けのクローラーでは、同じURLに対して約13,409バイトのMarkdown形式のページが返ってきました。これは元のHTMLの約23分の1のサイズです。Markdownは構造を簡潔に記述できるテキスト形式で、言語モデルが処理しやすいとされています。このように、アクセス元の種類によって同じページが異なる内容で配信されていることが分かりました。

Markdown版に埋め込まれた広告

Markdown版のレスポンスヘッダーには、Mobianという広告配信ベンダーを示す識別子が含まれていました。具体的には、x-mobian-registry-versionやx-mobian-impressionといった項目です。x-mobian-impressionにはアクセスのたびに新しいUUIDが発行され、cache-control: no-storeと組み合わせることで、ボットがページを読むたびに広告表示として計測される仕組みになっています。

また、x-mobian-tokensの値は3323で、広告の計測単位がページビューではなくトークンであることが示唆されます。トークンとは、AIモデルがテキストを処理する際の分割単位です。さらに、リストやセクションのページには、Ally BankやProject Management InstituteのFAQがスポンサーコンテンツとして埋め込まれています。これらのスポンサー情報は、人間向けのHTML版には一切含まれていませんでした。

ボットごとに異なる扱い

興味深いのは、ボットの種類によって対応が異なる点です。OpenAIが訓練やリアルタイム取得に使うGPTBotとChatGPT-UserはHTTP 406でアクセスを拒否されました。一方、ChatGPTの検索機能に使われるOAI-SearchBotはMarkdown版にアクセスできました。つまり、AI企業のクローラーに対して一律に公開しているわけではありません。

また、Googlebotは人間と同じHTMLを受け取るため、検索エンジンには通常のページが表示されます。このように、同じウェブサイトでありながら、訪問者によって見える内容が変わる二重構造が生まれています。この状態は、AI向けの検索や回答サービスにどのような影響を与えるのか、今後議論が必要です。

AI時代の広告モデルと課題

この取り組みは、AIクローラー向けのページに広告を組み込んで収益化する試みとして注目されます。TIMEは、ボットトラフィックが人間のトラフィックを上回る日が多くなっていると述べています。Markdown版の広告はスポンサーコンテンツとして明示されているため、隠された広告というわけではありません。

しかし、人間の読者にはその存在が伝わらず、AIモデルだけがスポンサー情報を参照することになります。これがAIの回答の品質や中立性に与える影響は未知数です。現時点では、この仕組みが実際にどれだけの収益を生むのか、AI企業がどのように対応するのかは明らかになっていません。