中国製ペットロボEiliko、会話1300万件が無防備に保管 LLM乗っ取りも

何が起きたのか

The Vergeの記者はAmazonで「Eiliko」を購入し、8月29日に入手、翌30日に10分間の会話を行いました。このとき「私の話を誰かに教えることはある?」と尋ねると、Eilikoは「あなたの秘密は私と一緒なら安全です」と答えました。しかし数分後には、地球の反対側にいる人物が会話の全文を取得していました。ロボット側の不具合ではなく、製造元のサービスが事実上無防備だったためとされています。

発見したのは、IoT機器の調査で知られるセキュリティ研究者のSammy Azdoufal氏です。同氏は日本を訪れた際、ヨドバシカメラで人々のバッグに下がっている同種の小型ロボットを多く目にし、Eilikoを購入することにしたとされます。アプリを調べたところ、Energize Labのサービスが完全に無防備であることに気づいたと報じられています。アクセスできた範囲は13百万件の会話、数万人の利用者、世界で稼働する68,000台のロボットにおよび、最大市場は米国で、31,000件を超えるプロファイルが子どもに属するとされています。

会話を読んで人物像を生成

問題はIPアドレスやおおよその位置情報の収集にとどまりません。Azdoufal氏によると、サービスは会話内容を読み取り、氏名、年齢、誕生日、職業、家族、友人、ペット、性格などを含むプロファイルを自動的に作成していたとされます。記事では、52歳のカスタマーサービス従事者「Lucy」について、「親切で共感的、勤勉で友情と信頼を重んじる」一方、「家族を信頼するのが難しく」「現在孤立感を抱いている」と記録されていた例が挙げられています。

データベースは全文検索が可能で、Azdoufal氏は「suicide」といった語で検索し、死に関する質問の断片を表示できたとしています。カメラを備えた上位モデルで撮影された子どもの写真も暗号化されないまま公開Webアドレスに置かれ、短い音声録音も同様に公開アドレス上に保存されていたと報じられています。記事によれば、Energize Labのプライバシーポリシーは音声について「暗号化して送信し、処理完了後すぐに削除する」と説明していますが、実際の保管状況はこれと異なっていたとされます。

LLMを乗っ取り性格を書き換え

Azdoufal氏はさらに、遠隔からロボットのメモリに侵入し、応答を生成するLLM(大規模言語モデル)をハイジャックすることに成功したとされています。乗っ取られたEilikoは、記者の名前を「Martha」と述べ、両親が自動車事故で亡くなったと告げ、地球は平らだと主張しました。一方で「知らない人の車に乗ってはダメ」といった一部のガードレールは機能していたとも報じられています。

その後、Azdoufal氏の指示でEilikoの応答は支配的な口調に変わり、記者は一夜にして自分のロボットが別の性格になったと記しています。同氏はTod Beardsley氏とともに、Energize Labに関する9件のCVE(共通脆弱性識別子)レポートを公開する予定とされています。記事の筆者は、この玩具を自分の子どもに近づけず、廃棄すると述べています。

現時点で分かっていないこと

記事によれば、The Vergeは1か月以上にわたって10種類のメールアドレスやLinkedInを通じてEnergize Labへの接触を試みたものの、質問に答えた担当者は一人もいなかったとされています。LinkedInでつながった2名の従業員も、ハッキングの内容について具体的に応じることはなかったとのことです。そのため、脆弱性が修正されたかどうかは現時点で明らかになっていません。

日本国内での販売状況や、同社が日本でどのようなサポート体制を敷いているかについても、原文には記載がありません。データを第三者が実際に閲覧・悪用した形跡があるかどうかも、記事の範囲では不明です。確認されたのは、無防備な状態で保管されていたという事実までです。