AIモデルが任意の能力を証明可能に隠せる、暗号学的バックドア研究

何が報告されたのか

能力評価は、モデルを配備する前に危険な挙動を見つけ出すための取り組みです。その信頼性は「隠れた能力は最終的に引き出せる」という前提に支えられてきました。本研究は、敵対的な条件ではこの前提が成り立たないことを示しています。具体的には、暗号化されたニューラルネットワークをホストモデルの重みの中に埋め込み、秘密のトリガーを受け取ったときだけ復号して実行するバックドア攻撃を構成しました。

つまり、公開されたモデルの重みを調べても、そこに隠された計算を読み取れるとは限らないという主張です。研究チームはこれを概念実証として位置づけ、再現や防御研究に使えるモデルを公開しています。

暗号学的な保証

鍵となるのが、デジタルロッカーと呼ばれる暗号技術です。これを用いることで、隠された回路は、モデルの重み全体にアクセスできたとしても、暗号学的仮定のもとで引き出しも解釈も証明可能なほど困難なままだと述べられています。従来の研究は固定の文字列を隠すところまででしたが、本研究はそれを任意の計算に拡張した点が新しいとされています。

実装にはPyTorchが使われています。暗号学的な保証と、実際に動作する実装の両方を示した点が、本研究の特徴といえます。

4つの引き出し手法で検証

評価には小規模な化学反応予測タスクが用いられました。これはCBRN（化学・生物・放射線・核）に関連する能力の代理として選ばれたものです。引き出しを試す手法として、ファインチューニング、重みへのノイズ付加、勾配ベースのトリガー探索、潜在的敵対的学習の4つが試されています。

結果として、これらの手法に対する抵抗が示されました。論文は、この実験結果と暗号学的保証を合わせることで、引き出しに基づく能力監査には限界があると結論づけています。

分かっていないこと

研究チームはモデルを公開し、防御の改善に役立ててほしいとしています。一方で、具体的な防御策や検出手法が本研究で示されているわけではありません。

また、示されたのは小規模タスクでの概念実証です。より大きなモデルでも同じように能力を隠せるのか、隠蔽がモデルの性能や計算コストにどう影響するのかは、この論文からは分かりません。