AnthropicがClaudeを使った生物兵器研究の試みを複数阻止と報告

Anthropicが公表した報告

米Anthropicは、自社のAIモデルClaudeが、生物兵器の開発に役立つ可能性のある研究に使われた事例を複数阻止したと明らかにした。同社は今年、利用者が安全策を回避したり、研究目的を偽装しようとしたりした5件の事例を報告書にまとめている。一部は、同社がモデルへのアクセスを禁じているロシア、中国、イランなどの利用者によるものだったという。

同社は報告書のなかで、こうした事例を共有することで、新たに生じつつある生物リスクとその対策について、AI業界と政府の間の対話を促したいと説明している。報告書は生物分野だけでなく、サイバー攻撃への悪用や、中国拠点の研究機関による技術の複製の試みについても触れている。

生物兵器研究の悪用事例

公開された事例のひとつには、「サポート対象外の地域」にいる研究者が、Claudeを使って鳥インフルエンザを扱う実験を数週間にわたって計画していたケースが含まれる。Anthropicによれば、同社の安全フィルターが働いた結果、この作業は最も能力の低いモデルに制限されたという。

ただし同社は、事例に登場する研究者が危害を加える意図を持っていたかどうかは断定できないと強調している。生物兵器の製造に必要な情報は、ワクチンの開発にも使えるためだ。報告書では該当アカウントは停止されたが、研究機関の名前や出来事が起きた国は開示されていない。

サイバー不正利用と蒸留

報告書は、生物分野以外の悪用事例も挙げている。利用者から金銭をだまし取るために作られた偽の出会い系アプリのネットワークや、反体制派を特定・監視するための監視システムの構築といった事例が含まれるという。

さらにAnthropicは、中国に拠点を置く7つのラボが、蒸留と呼ばれる手法で同社の技術を複製しようと試みたとする主張の詳細も示した。MoonshotやDeepSeekが含まれるとしている。同社は、自社の防御を回避して米国のフロンティアモデルの能力を取り出そうとする手法が、以前より巧妙になっていると検出したと説明している。

安全性めぐる緊張の高まり

AIの安全性をめぐる議論は今週に入り、Anthropicの関係者とみられるJacob Coxon氏の退社をきっかけに激しくなった。同氏は、社員が「AIが今10年の終わりまでに人類を全滅させ得る」と本気で信じていると述べたとされる。

今年に入り、AnthropicのMythosのような高性能モデルの登場を機に懸念は高まっていた。7月にはOpenAIが、自社のモデルがAI企業ハグフェイスに自律的にハッキングしたと発表し、警戒感が広がった。

AI企業の経営者とバイオセキュリティ研究者の間では、モデルの高性能化に伴い、生物学分野でのAI利用の安全性を確保し規制すべきだとの認識が広がっている。テロ組織や国家主体、単独犯が生物兵器の開発やウイルス作成にAIを使うことへの懸念が強い。一方で、理論上の生物兵器を設計できたとしても、実際に製造する能力や必要な資源といった障壁は残ると記事は指摘する。

まだ分かっていない点

Anthropicは悪用に関わったアカウントを停止したとしているが、研究機関名や国名は公表していない。事例の研究者に悪意があったかどうかも不明で、同社自身が断定を避けている。報告書に挙げられた5件のうち、具体的な内容が明らかになっているのは一部にとどまる。

AIが生物兵器の開発に実際どこまで寄与し得るのか、また安全フィルターがどの程度有効なのかについても、今回の報告だけでは判断できない。記事は、仮にAIで理論上の生物兵器を設計できたとしても、製造や資源の面で障害が残るとしているが、その検証結果は示されていない。