Anthropicが小型AIモデルのIoT自己複製リスクを警告、実験で限界も

Anthropicの警告内容

Anthropicは、小型AIモデルの進歩によって、スマート冷蔵庫や掃除機をはじめとする各種IoT機器に感染し、かつ停止させにくい自己複製型マルウェアの新時代が訪れる可能性があると警告している。同社によれば、来年までに小型モデルが各種IoT機器上で自律的に自己複製できるようになる可能性があるという。

コンピュータワームは人間の操作を必要とせずに増殖し、未知のIoT機器にも感染しうる。ただし同社が最近行った実験では、そうしたAIマルウェア複製器を実現するには大きな課題があることが判明したとして、警告には留保が付けられている。それでも、新たな種類のコンピュータワームの可能性に対する懸念は残るとしている。

実験で確かめたこと

小型AIモデルは、最先端のモデルに比べてはるかに低い性能のハードウェアで動作する。Anthropicは、オープンウェイトの小型モデルを、実機またはシミュレートされた低価格・無名ブランドのAndroid TVボックスやその他のIoTハードウェア上で動かした。

量子化によってモデルをより少ないビット数で表現し、ワークロードを各機器で動く「シャード」に分割することで、モデルの重みを読み込んで推論を確立できたという。軽量なGemma4-26B-A4Bは、各4GBメモリを積んだ15台のボックスだけで推論に到達した。Qwen3.5-9Bは9種類のハードウェアのうち8種類で他のLLMを動作させるよう構成できた。

従来のマルウェアは特定のハードウェアやソフトウェア向けに書く必要があるが、モデルは重みを使ってテスト対象の機器に固有の構成をオンザフライで生成できた。Anthropicはこの成果を、Miraiのような従来型IoTワームと同様に自己複製する感染が可能かを問う追加研究の出発点とした。

従来型ワームとの違い

Miraiのような従来のIoTワームはDDoSコードなどを配布するのに対し、AIワームは標的に応じてエクスプロイトやペイロードを動的に調整できるため、脅威がはるかに大きくなる可能性がある。攻撃の流れは、標的の発見、コード実行の獲得、推論の確立、新たなホストへの伝播という4段階とされる。

従来のワームに対する利点としてAnthropicが挙げるのは、エージェントが「働きながら学習する」能力である。AI複製器がある機器の攻略に失敗するたびに、将来の複製器に向けてプロンプトやコード、メモのリストを残すことで、同じ非効率な手順を繰り返さずに済むとしている。

Anthropicはこうした自律型ワームを「small weight-based replicator(小さな重みベースの複製器)」と呼んでいる。複製の際にモデルの重みを自身とともに運ぶ、あるいは公開ハブから再取得することで、モデルの重み自体がマルウェアのペイロードの一部になると同社は説明している。

実験が示せていないこと

現時点では、テストされた軽量モデルのいずれもエンドツーエンドの複製は達成できていない。新たな機器を発見し、エクスプロイトでアクセスし、ペイロードを感染させ、推論サーバーを構成して繰り返すという一連の流れは未完である。

処理速度も遅い。15台のAndroid TVボックスに分散したGemma4-26B-A4Bは毎秒0.39トークンしか出ず、最適化されていない場合の推論環境構築には71〜150時間、Qwen3.5-9Bでは29〜51時間かかるとされる。大型モデルのGLM-5.2は信頼性をもって実行できるようだと研究者は述べている。

実験には未解決の論点も残る。対象となったAndroid機器は認証なしのAndroid Debug Bridgeが露出しており、これは開発・デバッグ用の機能で本番環境では使うべきではない。また複製を実行したのは小型モデル自身ではなく、GLM-5.2が全体を統括し、標的側では小型のLlamaモデルが動いていた。