AIテキスト検出器を自作するチュートリアル、DistilBERTで実装

発表の背景と概要

Sebastian Raschka氏が、AIテキスト検出器をゼロから構築するチュートリアルを自身のSubstackマガジンで公開しました。きっかけは、SubstackがUIにAI検出機能を追加したことと、読者から小さな言語モデル(SLM)のデモに関する質問が寄せられたことです。

このプロジェクトは、AI検出器の仕組みを学ぶとともに、検出器を検証器として利用するLLMアプリケーションのケーススタディを提供することを目的としています。最終的にはAPIとUIを備えた検出器をローカルにデプロイします。

技術的な手法

提案される手法は、既存のAI検出サービスと同様に、テキストがAI生成である確率をスコアとして返す分類器です。具体的には、DistilBERTという小型のTransformerモデルを微調整して、0から100までのスコアを出力します。

記事では、これまでのAI検出のさまざまなアプローチ（教師あり分類器、摂動を用いた確率テスト、perplexity、透かしなど）に触れた上で、その中でも分類器ベースの手法を採用しています。ここで得られるスコアはあくまで分類器の訓練分布に基づく推定値であり、一般的な確率として解釈すべきではないと注意が促されています。

応用と意義

この検出器はスパムフィルタリング以外にも、自分の文章を修正する際にAI生成と判定されないようにする「校正支援」として利用できます。例えば、文法チェックツールを使った後でも、テキストがAI的に聞こえないことを確認する用途です。

また、検出器をRLVR（検証器ベースの強化学習）の検証器として使うことで、検出を回避するテキストを生成するモデルを訓練することができます。これは、数学やコードだけでなく、より一般的な検証器応用の可能性を示しています。

限界と注意点

AI検出器は本質的に「いたちごっこ」です。特定のLLMが生成したパターンを見つけても、次のモデルはそのパターンを持たない可能性があり、そのたびに検出器を更新する必要があります。

また、人間が書いたテキストをAI生成と誤判定する偽陽性も起こり得ます。このため、検出結果を絶対視せず、参考情報として扱うことが重要です。