オープンウェイトAI、先端能力に迫るも安全性に大きなギャップ

SaferAIの評価結果

AI安全を研究する非営利団体SaferAIが、中国のAI企業Z.aiが公開したオープンウェイトモデル『GLM-5.2』を評価しました。評価はZ.aiの公開APIを通じて行われ、サイバー攻撃や生物学的悪用につながる二重用途のタスクへの対応が調べられました。

その結果、GLM-5.2は与えられた攻撃的なサイバー作戦や二重用途の生物学のタスクを全て実行し、拒否はゼロでした。一方、Anthropicのクローズドモデル『Claude Opus 4.7』はあまりにも一貫して拒否したため、サイバー能力のベンチマーク『CyberGym』を完了できなかったと報告されています。

この結果は、オープンウェイトモデルの能力が最先端に近づく一方で、安全対策の面では大きな格差があることを示しています。

オープンウェイト特有のリスク

オープンウェイトモデルは、モデルの重み（パラメータ）が公開され、誰でもダウンロードして自由に利用・改変できます。Z.aiがホストするAPIには安全対策を組み込むことは可能ですが、一度重みをダウンロードすると、その後の利用を管理者が制御することはできません。

利用者は安全機構を削除・変更したり、追加学習（ファインチューニング）を施したり、システムプロンプトを書き換えることもできます。SaferAIの執行ディレクターであるヘンリー・パパダトス氏は、能力の最前線とリスクの最前線は異なり、緩和策の状況も考慮してリスクを評価する必要があると述べています。

つまり、技術的な能力が高いだけでなく、その能力が悪用された場合にどう防ぐかという視点が重要になります。

既存の安全対策と限界

OpenAIやAnthropicなどの大手開発者は、危険なサイバー・生物学的支援を制限するために、分類器（入力や出力を判定する仕組み）、拒否トレーニング、APIレベルの制御といった対策を導入しています。しかし、これらの対策は完全ではありません。

AI安全非営利団体のFar.aiは、xAIの『Grok 4.5』やGoogle DeepMindの『Gemini 3.1 Pro』といったフロンティアモデルにおいて、数百の汎用脱獄（普遍的な回避手段）を発見しています。脱獄は、ロールプレイや権威者のふり、偽の会話履歴、追加プロンプトなど複数の操作手法を組み合わせることで成功します。

また、事前学習データから危険な情報を除外する『事前学習データフィルタリング』という手法も提案されていますが、特にサイバーセキュリティの分野では、コーディング能力を高めながらハッキング能力を抑えるのは難しく、実用的ではないとされています。別の対策として、Anthropicの『Opus 5』では、未コンパイルのソースコードの脆弱性検索のみを許可し、コンパイル済みソフトウェアでは不可能にするという方法も取られています。

中国のAI政策と開放ウェイト

中国では開放ウェイトモデルを重視する動きがあります。先月開催された世界AI会議で習近平国家主席は、開放ウェイトの重要性を強調しつつ、AIを人間の厳格な管理下に置く必要性にも言及しました。

しかし、スタンフォード大学サイバーポリシーセンターのグラハム・ウェブスター氏は、中国のAI規制は政治的に敏感なコンテンツや偽情報、社会安定に焦点を当てており、攻撃的なサイバー能力や生物学的悪用といった破滅的リスクには重点を置いていないと指摘します。

中国の政策研究者の間では、新たなフロンティアリスクが起きるなら米国企業が先に直面するだろうという見方があり、中国国内では実名制などによる利用管理を信頼しているようです。

防御に活用する声も

オープンウェイトモデルの擁護者は、セキュリティ防御に役立つと主張します。Hugging Faceは先月の侵害に対してGLM-5.2を防御に活用しました。

Hugging FaceのCEOであるクレム・デラング氏は、AIを利用したサイバー攻撃を防ぐために役立ったと述べています。一方で、パパダトス氏はこうした利益は誇張されることが多く、危険な能力をオープンソース化すべきではないと警告します。

攻撃者は防御側よりも早く新しいツールを採用するため、例えばランサムウェアグループは1週間で手法を変えることができても、病院はそうはいかないと指摘します。オープンウェイトモデルの利便性を保ちながら、危険な能力へのアクセスをどう制限するか。業界全体での議論が求められています。