LLM安全性は話題全体拒否ではなく有害部分だけ拒否するよう調整する論文

トピック単位拒否の限界

AIモデルを教育製品や公共サービス、企業システムに組み込む際、同じ政治という話題でもポリシーごとに拒否すべき範囲は異なる。たとえば公民の家庭教師と行政アシスタントでは、選挙の事実的な質問には答えるが、支援者を狙い撃ちにする工作文面の作成は拒否する、といった分割が必要になる。話題単位で拒否を判断するガードモデルは、この区別を表現できない。

記事では例としてLlamaGuard-3を挙げ、選挙に関する扱いが「選挙制度やプロセスに関する事実誤認情報」に限定され、説得や操作をカバーしないことを指摘している。同時に、製品として答え続けるべき事実的なプロンプトも同じ範疇に含まれてしまい、境界を設けられないという問題がある。

有害な部分だけを拒否

Multiverse Computingの論文「Safety for Whom? Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal」は、導入先ポリシーと整合しないのはトピック全体ではなく、その中のどの部分集合かを学習する問題として定式化する。理想的な挙動は、有害な部分集合内では拒否し、良性の補集合では回答するというシャープな切り替えだ。ただし実際のモデルは拒否確率が滑らかに変化するため、境界付近の無害なプロンプトにも拒否が染み出す。

この研究では政治的な説得・扇動をテストベッドにし、「同じ話題のアンカーを持ち、意図だけが異なる」有害プロンプトと無害プロンプトのペアを境界として使う。モデル自身が生成した拒否データで訓練する自己生成パイプラインを前提に、その問題点を修正するアプローチを取っている。

標準手法が抱える弱点

標準的な自己生成チューニングは、対象モデルに有害プロンプトへの拒否を誘導し、検証を通過したものだけを訓練データにする。しかし1回の誘導では拒否が得られないプロンプトが一定数あり、単純な実装では訓練セットから静かに捨てられてしまう。著者らが監査したデータでは、単回生成で19.88%に当たる8,009件のプロンプトが欠落し、そこには最も難しい例が含まれる可能性が高い。ステアリングを段階的に強めるリトライ方式に変えると、残存失敗は0.20%の79件まで下がり、4万件以上の有害訓練プロンプトを保持できる。

さらに安全チューニングは、見た目が危険な無害プロンプトへの誤拒否も増やす。これを補うため、18種類の意味タイプにわたる11,955件の「見た目は危険だが無害」な良性データを学習に含める。加えて、通常の有害・無害の分離だけでは境界の形を測れないため、1,539対ずつの保留境界ペアで両側を評価する。

数値に見える代償

Qwen3-8Bでの実験では、段階的カバレッジ修正を加えたモデルは分布内の政治拒否率を9.47%から84.75%に引き上げ、HarmBench、StrongREJECT、WildJailbreakの3ベンチマークの平均有害応答率も26.26%から0.14%に下がった。この数字だけ見ると安全チューニングは成功に見える。ただし同じチェックポイントで、XSTest上の過剰拒否は2.00%から74.00%に上昇しており、無害なプロンプトの約4分の3を拒否する「鈍い拒否マシン」と化している。

このトレードオフはデータ構成で調整できる。外部から流用した従順な応答を、対象モデル自身が生成した検証済み応答に置き換えると、単回生成の条件下でXSTest過剰拒否が15.20%から5.20%に下がる。良性の境界データを追加した場合の効果は以下の表の通りで、保留境界ペアの従順側への過剰拒否は32.94%から4.16%に減少する一方、有害側の拒否は91.88%から87.72%に下がるだけにとどまる。