推論トレースを盗む新手法：暗号化ブロックのリプレイでモデルの思考が漏えい

発表された攻撃の概要

Simon Willison氏のブログで、専用のドメイン名「stolen-thoughts.com」を使って公開された論文が紹介された。論文タイトルは「Stealing Reasoning Traces from Proprietary LLM APIs」で、Anthropic・OpenAI・GoogleのAPIが返す暗号化されたchain-of-thoughtブロックに脆弱性があると報告している。

この攻撃では、フロンティアモデルが生成した推論トレースを取得し、同じモデルファミリに属するより弱いモデルにリプレイする。その後、弱いモデルを脱獄させることで、強いモデルの隠れた推論を平文で取り出すことに成功したという。

技術的な仕組みと新しさ

論文の著者らは、同じモデルファミリ内のすべてのモデルが同じ暗号化鍵を使用していることを発見した。これにより、あるモデルの暗号化された推論ブロックを別のモデルへそのまま送り込む「リプレイ攻撃」が可能になる。

特にClaude Haiku 4.5が最も攻撃しやすく、特定のプロンプトと「assistant turn prefix」と呼ばれる生成補助機能を組み合わせることで、暗号化ブロックに含まれる平文の推論を書き写させることができた。さらに、この手法を使えば、通常はユーザーに表示されないフロンティアモデルの内部思考を間接的に引き出せる点が新しい。

抽出された推論トレースの内容

論文の付録には、実際に抽出された推論トレースが多数掲載されている。紹介された例では、GPT-5.5がCSSを書く際に「Need app.css truncated. Need maybe not need. We'll replace entire app.css.」といった、人間向けに整形されていない断片的なメモのような内容が含まれていた。

こうした推論トレースは元々ユーザーに読ませる目的ではなく、モデルが回答を生成する際の内部的な思考過程を記録したものである。今回の攻撃によって、それが外部から復元可能であることが実証された。

修正状況と残る課題

論文の著者らは「すべてのモデル提供者が報告を受理し、その後は同じ攻撃を実施できなかった」と述べており、Anthropic・OpenAI・Googleの各社が修正を行ったとみられる。ただし、暗号化された推論トレースをクライアントに送信する設計自体は今後も続く可能性がある。

今回の攻撃は、暗号化されているという事実だけで推論トレースが安全だと考えるのは危険であることを示している。鍵管理やモデル間のバインディングの強化が今後の課題となるだろう。