GitHubがシークレット検出に小型ModernBERTを採用、誤検知削減とコスト98%減を実現

何が発表されたのか

GitHubは、シークレットスキャンを支える新しい分類器について、設計・学習・評価の手法を公開しました。シークレットスキャンは、プッシュ前に機密情報の混入を防ぐ「プッシュ保護」と、コミット後に継続的にスキャンする「Post-pushスキャン」の2つの場面で動作します。

汎用シークレットは、同じ文字列が本物の資格情報にもドキュメントのプレースホルダーにもなり得るため、前後のコードやテキストを理解しないと判別が難しいと説明されています。GitHubはこの課題に対し、製品要件に合わせて学習させた分類器で、本物の資格情報と紛らわしい文字列を区別する仕組みを導入しました。

2段パイプラインの仕組み

新しいスキャナは2段構成です。第1段の「候補生成」では、正規表現フィルターが資格情報らしい文字列を高い再現率で高速かつ決定的に抽出します。第2段の「文脈考慮型分類」では、ファインチューニングしたModernBERTが候補とその周辺文脈を評価します。

分類器はファイルパス、シークレットの種類、変数名、周辺のコードやテキストといった信号を手がかりに、本物のシークレットである確率を見積もります。確信度の高い検出だけをアラートとし、プレースホルダーやテスト用フィクスチャ、チェックサムなどの類似文字列は開発者に届く前に除外されます。

設計上の要点は、モデルが決定的なスキャンを置き換えるのではなく補完する点です。正規表現は候補を素早く見つける役割を担い、機械学習は「シークレットに見える」と「実際にシークレットである可能性が高い」を区別する場面で使われます。

ModernBERTを選んだ理由

GitHubは、この用途にModernBERTが適していると説明します。小さく効率的で、コードに隣接するテキストの分類に向いており、短い候補ウィンドウに対して高スループット・低遅延で判断を下せるためです。学習したモデルは8ビット量子化したONNX形式でエクスポートされ、高速な推論を可能にしています。

汎用LLMをこの段に使うよりも、ファインチューニングしたエンコーダ型分類器の方が配信形態として適しているとしています。判断境界を直接学習でき、シークレットスキャンの品質で重視される再現率と精度の指標で評価できる点が理由です。

学習データと評価結果

学習と評価には3種類のデータを組み合わせています。GitHubリポジトリから得た製品由来の例、人間による注釈や弱ラベルを含む高再現率の正規表現候補、ドキュメントのシークレットやテストフィクスチャ、公開鍵、チェックサムなど難しいケースを狙った合成例です。合成データは決定的な検証とモデルベースの品質レビューを通過したものだけが使われます。

評価は2段階で行われました。オフライン評価では、同じ公開トラフィック上で従来のLLMパイプラインより精度が13%、再現率が19%高い結果となりました。オンラインではA/B実験で検証し、リポジトリオーナー加重の承認率が11.5%向上しました。

承認率をリポジトリオーナーで加重するのは、大量のアラートを一括処理する顧客の影響を抑え、単純平均の歪みを避けるためだと説明されています。

今後の取り組み

GitHubは今後、2つの領域に注力するとしています。1つは継続的な改善の仕組みづくりで、本番のフィードバックループから新たな偽陰性・偽陽性を見つけ、実世界の信号を学習・評価データの品質向上につなげます。

もう1つは新しいモデルアーキテクチャの検討です。シークレットの検出と抽出を1ステップで行い、精度とスケールを保ちながらパイプラインの複雑さを減らすアプローチを調査していると述べています。