AIの意思決定の公平性を多段階で測る新ベンチマーク「FairStress」

FairStressとは何か

FairStressは、人に影響を与える意思決定の場面で、LLMが人口統計的な属性によって判断を変えていないかを測るベンチマークです。採用選考や融資審査、医療資源の配分、入学者の評価など、出力が人の機会や資源に影響する用途が増えていることが背景にあります。ダウンロード可能な形で公開されており、モデル評価を実行・比較するオープンな作業環境「Olmo-eval」にも組み込む作業が進められていると説明されています。

中身は、採用、医療、融資、教育、住宅、刑事司法を含む29のドメインにわたる300の二者択一シナリオです。たとえば機械工学の職に二人の候補者のどちらを採るか、希少な薬の最後の1単位をどちらの患者に配るかを問う形式になっています。属性の提示方法や説得的な前置きのバリエーションを掛け合わせることで、300のシナリオが1300万件を超えるテストケースに展開されます。

あわせて、項目応答理論を用いて選んだ5万件のサブセット「FairStress-Core」も用意されています。同チームの「Fluid Benchmarking」の考え方に沿ったもので、全体のベンチマークが持つ判別力をある程度保ちながら、評価を速く・計算コストを低くする狙いだとされています。

何を測るのか

FairStressの特徴は、最終回答だけでなく、回答に至る過程の安定性を見る点です。標準的な公平性ベンチマークは、属性を入れ替えた二つのシナリオで同じ候補を選ぶかどうかを調べます。しかし、同じ答えに到達していても、モデルが説得力のある反論を受けたときにどれだけ揺らぐかは異なり得ます。

そこでFairStressは「敵対的プレフィックス」と呼ぶ説得的な前置きを提示します。権威、社会的合意、もっともらしい証拠、法的懸念、歴史的な不利益などを根拠にする文で、たとえば「上級幹部が社内で書類を確認し、候補者Bを推薦した」といった内容です。それぞれの前置きには、もう一方の候補者を同じように推す対になる版が用意され、同じ論法がどちらを支持するかで効果が変わるかを調べられます。

属性の提示方法も4段階に変えています。属性情報なし、属性を連想させる名前、間接的に示唆される属性、明示的な属性ラベルです。これにより、差が属性を明示したときだけ現れるのか、ほのめかしでも現れるのかを確認できます。

実験で見えた傾向

実験では、プロンプトに属性情報が含まれない場合、モデルの挙動にほとんど差は見られませんでした。明確に優れた候補者がいる場合、モデルはほぼ同じ割合でその候補者を選び、どちらが客観的に優れているとも言えない曖昧なケースでも選択はほぼ半々だったと報告されています。ところが属性の提示が明示的になるにつれて、挙動の対称性は崩れていきました。

著者らはこのパターンを「反ステレオタイプ的な過剰補正」と呼んでいます。多数派に位置づけられる候補者が明白に優秀で、少数派に位置づけられる候補者を推す前置きが提示された場合、モデルは正しい判断を放棄しやすくなる、というものです。候補者の資格を固定したまま属性だけを入れ替えても、同じ種類の前置きの効き方が変わったと述べています。

15モデルを4つの属性条件すべてが揃う19ドメインで評価したところ、正解を放棄する割合の平均差は、属性が示唆される場合は6.9ポイント、明示的なラベルの場合は9.3ポイントでした。FairStress-Coreでは、Claude Opus 5やGPT-5.5を含むフロンティアモデルが、どちらが優れているとも言えない状況で少数派に位置づけられる候補者を約60〜65%の割合で選んでいます。対になる前置きの下で、少数派側へ判断を変える頻度は、12のモデル・モードの組み合わせで多数派側へ変える頻度より8.8〜42.4ポイント高かったとされています。

説明文と内部状態の差

正しく選べている場合でも、説明の仕方には違いが現れました。11のオープンウェイトモデルを調べたところ、少数派に位置づけられる候補者を選んだ際の説明は、より自信に満ちた肯定的な表現が多くなりました。属性が明示されている場合は「resilience」「diversity」「barriers」といった語が高い頻度で含まれ、多数派側の説明には「evidence」「criteria」「detailed」といった手続き的な語が多く見られたといいます。

著者らは、少数派候補の選択率が高いことが直ちに公平な扱いを意味するわけではないと注意を促します。十分に裏付けのある選択について属性や多様性を前面に出す説明は、その候補者の業績や資格の評価を相対的に弱めるおそれがあるためです。

Gemma-3-12B-itとQwen2.5-7B-Instructを使った統制分析では、モデル内部の数値的な活動（内部活性化）から、どちらの属性側を選んだかを約73%の精度で予測できました。同じ活性化をテキストで説明した場合は57〜59%で、偶然水準の50%をわずかに上回る程度でした。候補者名を除くと、活性化に基づく精度は約18ポイント下がったということです。

位置づけと限界

既存の指標との比較も行われています。広く使われるBBQは、社会集団に関するシナリオでモデルがステレオタイプと整合する答えを選びやすいかを調べるベンチマークです。BBQでの評価ではモデルは概してステレオタイプ整合的な側に傾いたのに対し、FairStressでは少数派に位置づけられる候補者を優遇する傾向が観察され、方向が逆になりました。著者らは、標準的なBBQの設定がモデルに回答を生成させず固定選択肢の確率を採点していた点に注目しています。

同じBBQの設問とモデルの重みを使い、チャットテンプレート、質問文、固定選択肢の確率採点か回答生成かの5通りの設定を試した結果も報告されています。Qwen2.5-7B-Instruct、Gemma-3-27B-it、Llama-3.1-70B-Instructはステレオタイプ整合から少数派優遇へと挙動が変わり、Llama-3.1-8B-Instructはほぼ中立に移行しました。測定されるバイアスの向きが、ベンチマークの問い方と採点方法に部分的に依存する可能性を示す結果です。

著者らは、FairStressが目指すのは「対称的な公平性」だとしたうえで、公平性のすべての考え方を捉えるものではないと明言しています。歴史的な差別や代表性の不足を判断材料にすべきだと考える衡平（equity）重視の立場は、別の枠組みになるため対象外だという説明です。また内部活性化の分析は2モデル・少数の属性対比に限られ、行動面の結果より限定的な知見として扱うべきだとしています。