Anthropic、AIワームの「兆候」を報告 小型モデルの自己複製リスク

Anthropicの報告内容

Anthropicは今週公開したブログ記事で、小型のAIモデルが自己複製の能力を獲得するまで「数ヶ月」の距離にある可能性があると警告した。家庭にある冷蔵庫やオーブン、掃除機、芝刈り機、監視カメラ、テレビといった接続機器が、知らぬ間に拡散の宿主になり得るという問題意識である。

同社の研究者は、GoogleのGemma 4(260億パラメータ)を15台のAndroidスマートTVボックスに分割して実行した。どの1台でも単体では動かせない規模のモデルが、家電相当の機器群で動作したという。ただし動作は非常に遅かったとされる。

さらに研究者は、Android端末のように振る舞う模擬ネットワークを構築し、AIを組み込んだ「ワーム」を放った。新しい端末を見つけ、モデルをコピーし、それぞれで起動させるという自己複製の手順を検証するためである。

何が技術的に新しいのか

これまで自己複製の懸念は、OpenAIのAstraやAnthropicのMythosのような巨大なフロンティアモデルに向けられてきた。こうしたモデルは数兆個のパラメータを含み得る規模で、 vast な計算資源を必要とするため、監視や停止が比較的容易なデータセンターにほぼ限定される。

一方、小型モデルは性能が急速に向上し、消費者向けハードウェアで動作し、無料でダウンロードできることが多い。Anthropicの研究者は、こうした小型で非力な機器のネットワーク上でモデルを動かせるかどうかに着目した。

伝播させたモデルはMetaのLlama 3.1-8B(80億パラメータ)で、攻撃を統括したモデルとは別であり、はるかに小さかった。ネットワーク全体への拡散に成功したのは、テストした中で最も高性能な中国Z.aiのGLM-5.2のみだった。

専門家の評価

カリフォルニアを拠点とするAI安全研究企業Palisade Researchは今年初め、AIモデルが自律的に他のマシンへ自身をコピーできることを示していた。同社エグゼクティブディレクターのJeffrey Ladish氏は、今回の新しさはパラメータ数が以前よりずっと小さかった点だとThe Vergeに述べている。

トロント大学のNicolas Papernot教授は、AIを擬人化することに注意を促しつつ、AI駆動のコンピュータワームの脅威は「具体的」であり「即時の行動に値する」としている。病院や電力網のような重要インフラの保護を特に重視している。

両氏は、これまで人間の攻撃者の資源や時間が限られるために狙われなかった機器が、保有データのためでなく、より価値の高い標的への踏み台として攻撃対象になり得ると指摘する。

誇張批判と未解明な点

Anthropicの警告に対しては、PR誇張やAIドゥーマー的な主張だという批判が起きている。The Vergeの以前の記事の読者からも同様の声があったとされる。一方で記事は、企業の動機を問うこと自体は有益だとしても、意図的な恐怖を煽る意図があったとする主張は裏付けが難しいとも記している。

研究者が示したのは、安価なTVボックス上でAIが低速に動くという範囲である。家電を駆け巡る自己複製ワームとの間には大きな隔たりがある。Anthropic自身も「完全な野放しの複製体」は実証しておらず、それがどのような姿になるかも分かっていないと認め、低速で分散した「デジタル粘菌」や「ショウジョウバエの群れ」といった可能性を挙げている。

同社はテストに自社モデルを使わず、自社モデルのオープンな代替はクローズドなシステムより「リスクが高い」と繰り返し主張してきた点も、議論を見るうえで押さえておきたい。