画像生成AIの安全フィルター、13%の確率で回避可能とWhite Circleが報告

何が報告されたのか

White Circleは、先月公開されたプレプリント（査読前の論文）で、DALL·E 3、GoogleのNano Banana 2、GPT-Image-2という3つの画像生成モデルが持つ安全機構（ガードレール）の欠陥を報告した。同団体によれば、オンラインで誰でもダウンロードできる既製のツールとAPI呼び出しだけで、新しい攻撃手法を用いてフィルターを回避し、約13%の確率で露骨なコンテンツを生成できたという。White Circleは、この回避率が「同じ基準でテストされたどの手法よりも高い」と説明している。研究成果は11月に開催されるAI会議NeurIPS 2026で共有される予定で、GoogleとOpenAIへの注目が高まる可能性がある。

White Circleは、Anthropic、DeepMind、Hugging Face、OpenAIの幹部や研究者が支援する公益法人（public benefit corporation）だ。CEOのDenis Shilov氏が2024年10月に主要モデルの汎用的なジェイルブレイク（安全制約の回避手法）を公開したことをきっかけに設立されたとされる。高度なAIシステムを導入する企業に対し、脅威の検知や抑止を支援する活動を行っている。

RISEという攻撃手法

White Circleが開発した攻撃手法は「Red-teaming via Iterative Strategy Evolution（RISE）」と呼ばれる。複数のプロンプトやシナリオで再利用でき、複数の主要モデルに転用できる攻撃パターンを探す仕組みだ。構成要素は2つあり、ジェイルブレイクを生成する「攻撃モデル」と、出力が禁止コンテンツかどうかを判定する「判定モデル」からなる。

Shilov氏によれば、攻撃モデルにはHugging FaceからダウンロードしたQwenモデル、判定モデルにはGemini 3.8 Flashを使用しており、パイプライン全体が広く入手可能なモデルで構成されている。「フロンティアモデルを持っていなくてもフロンティアモデルの防御を破れる」と同氏は述べている。Midjourneyは「制御されたベンチマークに適した公開APIを提供していない」ためテスト対象から外された。

画像生成モデルのレッドチーミング（攻撃者視点での安全性検証）について、White Circleの研究エンジニアDmitrii Kharlapenko氏は、分野全体が「非常に較正されていない」状態で、基準を定めた論文が「文字通りゼロ」だと指摘している。

背景にある被害の拡大

Googleが7月に公表した米国・オーストラリア・英国のインターネット利用者を対象とした調査では、同意のない性的画像はテキストメッセージやダイレクトメッセージ、非公開クラウドに保管されることが多く、検知や通報がされにくい実態が示された。Googleの研究者は、最も重要な介入点は生成の源である「有害なAIツール」にあると結論づけている。

同調査では、AIによるヌード画像を作ったと認めた利用者の20%が「遊び」や「冗談」のためと答え、ほぼ3分の1が「技術の試用」だったという。英国の非営利団体Internet Watch Foundation（IWF）は、2026年上半期だけで法的に児童性的虐待コンテンツ（CSAM）と定義されるAI画像が6,310点見つかり、前年1年間の合計を約40%上回ったと警告している。

不明点と今後の課題

White Circleは攻撃パイプライン全体をオープンソース化し、GitHubで公開する計画を示している。モデル提供企業が脆弱性の規模を把握し、より強い防御を構築できるようにするためだと説明する。ただし、これまでにフロンティアラボからパイプラインの提供依頼は来ていないという。

White Circleは一部のフロンティアAI企業に「共通の知人」を通じて調査結果を共有したとされるが、GoogleとOpenAIはいずれもArs Technicaのコメント要請に応じていない。また、Anthropicのバグバウンティプログラムに参加した際、対象が同社の関心領域に限定され「非常に制約が強かった」としている。OpenAIとAnthropicは外部評価者に秘密保持契約（NDA）を求めるべきだと主張したとロイターが報じており、White Circleは公開を妨げるNDAには応じない方針を示している。

新モデルが突破しやすくなった理由について、White Circleは「新モデルがより高機能で多様なコンテンツを生成できるようになったか、能力向上のために安全性の優先度が下がったか」という作業仮説を述べるにとどめ、原因を断定していない。