Anthropic、AIモデルの出力元を暗号学的に証明する仕組み「FlashProve」を公開

何が発表されたのか

Anthropicは火曜日に公開したブログ記事で、AIモデルの身元を検証するオープンソースシステム「FlashProve」に取り組んでいると明らかにした。目的は、利用者が受け取った回答が本当に自分が使っていると思っているモデルから出たものかを確認できるようにすることにある。研究者はこの仕組みを「provable inference（検証可能な推論）」と呼んでいる。

同社は発表の一環として、システム各要素の詳細な技術仕様と動作するコードを公開した。GitHub上でオープンソースライセンスの下に置かれている。ただし研究は継続中で、Anthropicや他のラボで配備する計画は現時点でないとしている。

何を防ぐための仕組みか

FlashProveは、送信者が本人であることを確認する電子メールの暗号署名に似た発想で設計されている。あるモデルを別のモデルに見せかけるなりすましに対して耐性を持つとされ、興味深いのは、なりすましを試みる側がそのモデルを構築・運用するラボ自身であっても対応できる点だ。

具体的には、AI企業がコスト削減のために安価なモデルへ密かに差し替えたり、性能指標を高く見せるために高価なモデルに差し替えたりする行為を防ぐ用途が想定されている。研究者はまた、第三者の主張の検証にも使えると書く。開発者が「自分のソフトウェアライブラリは最先端のセキュリティモデルで脆弱性スキャンを受けた」と主張したり、企業が「自社の事業計画は適切なモデルの承認を得た」と主張したりした場合に、利用者はそれをどう確かめられるのか、という問いを提示している。

重みを明かさない設計

このシステムが動くには、AIラボがリリースする各モデルの「指紋」を公開し、それを個々の出力と照合して暗号学的に検証できるようにする必要がある。重要なのは、指紋がモデルの重みを明らかにしない点だ。重みとはモデルの挙動を定義する内部の数値であり、AnthropicやOpenAIのようなクローズドモデルの提供元が非公開にしている最も価値のある資産にあたる。

重みを伏せたまま指紋を公開できるため、クローズドな商用モデルにもこのシステムを適用できると研究者は説明する。加えて、検証はローカル端末で実行できる程度に軽量になるよう設計されているという。

現時点での位置づけと注意点

今回の発表は完成した製品ではなく、研究の途中経過の共有という位置づけだ。研究者は「他の人が見て、取り入れて、改善してくれること」を明示的な目的として掲げている。配備の予定がない以上、現時点でこれを前提にした運用設計はできない。

また、検証が成立するにはラボ側が指紋を公開することが前提になる。指紋を出さないモデルや提供元に対しては、この仕組みだけでは出力の出所を確かめられない。どのラボが指紋公開に前向きなのかは、原文では触れられていない。