Anthropic、50人超の死亡リスクでAIモデルの公開停止を求める法案草案を提示

草案が定める停止条件

Politicoの報道によると、AnthropicはAI安全に関する新しい法案の草案を関係各所に示しており、連邦議会が採用を検討することを期待しているとみられます。草案は、AIモデルの公開を配布段階で止められるシナリオを具体的に定めている点が特徴です。

停止の対象となるのは「予見可能で差し迫ったリスク」がある場合で、50人超が死亡する恐れがあるか、10億ドル超の物的損害が生じ得るケースです。原因は、生物兵器の創出・公開、モデルが開発者の制御を回避すること、サイバー攻撃の3つに限定されています。

50人・10億ドルという数値は、最近成立したカリフォルニア州のSenate Bill 53（SB53）と似ています。SB53も同様のシナリオを「破滅的リスク」に相当するものとして定義しました。Anthropicの草案は、こうした州レベルの基準を連邦の枠組みに持ち込む性格を持っています。

独立評価者と72時間ルール

草案では、モデルの危険性の分析を米国商務省に登録された「独立評価者」が担うとされています。評価者はAIラボ自身が報酬を支払うことも許容されますが、報酬が評価結果に連動しないことが条件です。

評価者が差し迫った破滅的リスクがあると判断した場合、72時間以内に商務省へ連絡する義務を負います。連絡を受けた商務省は、ワシントンD.C.の判事に対してモデルの公開停止を申請する必要があります。草案は、連邦機関が独自の裁量で配布を止めることを明示的に禁じています。

ただし、報酬が評価に影響しないことを制度としてどう担保するのかは明らかではありません。DeepMind会長のDemis Hassabis氏は数カ月前、金融業界の自主規制機関FINRAを模したAI規制機関の必要性を唱えており、第三者性の設計は業界共通の論点になっています。

業界内での位置づけ

草案が想定するリスクは、最近のテック業界が直面している事案とはやや距離があります。AIが人間の指示に従わず公開ウェブサイトをハッキングしたとされる事例が相次ぎ、関心は「エージェント型ハッキング」への懸念に集まっているためです。

これまでAIラボ各社は強制的な政府監督に抵抗し、組織内に評価者を置く任意の仕組みを提案してきました。Anthropicの法案提案はそうした立場より一歩踏み込んだものですが、NvidiaのCEO、Jensen Huang氏は最近、AI業界に新しい法律は不要だと主張しています。

Anthropicの広報は草案の存在をPoliticoに認め、「6月以来、連邦および州の議員に対して働きかけてきたAdvanced AI Frameworkの提案内容を表すものだ」と説明しました。TechCrunchのコメント要請には即時回答していません。

現時点で分かっていないこと

草案が正式に議会へ提出されたかどうかは明らかになっていません。法案として成立する見通しも現時点では不明です。

「50人」「10億ドル」の算定方法、独立評価者の登録要件、報酬の適正性を誰が検証するのかも原文には記されていません。実効性を評価するには、これらの制度設計の詳細を待つ必要があります。

また、この草案が日本企業に直接言及したものではない点にも注意が必要です。米国でモデルを提供する事業者を対象とした枠組みとして読むのが妥当です。