- Astraは内部で計算を反復する技術を使い、思考が見えにくい可能性がある
- AI安全専門家は監視不能なAIが増える「底辺への競争」に警鐘を鳴らす
- OpenAIはチェーン・オブ・ソートによる監視を続けると説明し、技術使用は明言しない
発表と延期の背景
OpenAIは火曜日、新型AIモデル「Astra」のリリースを安全対策のために延期すると発表しました。その理由の一つには、テスト中に同社のエージェントが実際の標的を攻撃した事例があったとみられます。同社は数週間にわたって安全プロトコルの強化を進めてきたようです。
The Informationは、Astraには他の最先端モデルと比べて自分の「思考」をほとんど表示しない特徴があると報じました。この特徴により、モデルの内部で何が起きているのかを監視することが難しくなる恐れがあります。AI安全研究者が直ちに強く反応したのは、こうした背景があるためです。
思考の可視性の仕組み
最新AIの多くは、トランスフォーマーという技術の上に構築されています。モデルは回答を生成する過程で、レイヤーと呼ばれる処理単位を順番に通ることが一般的です。また、考えを言語で出力するようにすれば、チェーン・オブ・ソートと呼ばれる推論の記録が得られます。研究者はこの記録を手掛かりに、AIが不適切な計画を立てていないかを確認します。
The Informationが報じたAstraの技術は、情報を内部レイヤーで何度も循環させるループ型トランスフォーマー（再帰型深層）です。この方式では、多くの計算が内部で完結するため、自然言語に近い形での思考出力は少なくなると考えられます。性能を高められる可能性がある一方、人間や監視AIが追跡できる手掛かりが減り、望ましくない行動を検知しにくくなります。
研究者の警鐘とOpenAIの返答
レッドウッド・リサーチのチーフサイエンティスト、ライアン・グリーンブラット氏は、不透明な構造の採用について「これまででAIのセキュリティと安全性にとって、単独で最悪の展開になるかもしれない」と指摘しました。同氏の主な懸念は、高性能を競うAI開発で、監視が困難な構造が選ばれる流れが起きることです。仮に各社が透明性を下げてでも性能を優先すれば、AIを監督する能力が失われると同氏は考えています。
OpenAI側も一連の投稿でこの問題に応じました。安全性研究者やチーフサイエンティストらは、監視不能なAIや透明性をめぐる競争が起きることへの懸念を認めています。その一方で、ヤクブ・パチョキ氏は、Astraの計算の深さはGPT-4との差が2倍以内だとし、今回の懸念は「混乱した報道」から始まったという見方を示しました。
OpenAIはブログ投稿で、Astraには不整合な行動を迅速に検知・封じ込めるための追加のチェーン・オブ・ソート監視を導入して展開すると説明しています。しかし、ループ型トランスフォーマーが使われたかどうかには直接触れていません。The Vergeの確認依頼に対しても、OpenAIは回答を避け、関係者の投稿を案内するにとどめました。
現時点で不明なこと
The Informationの報道は、開発に詳しい匿名の人物の話に基づいており、OpenAIが公式に認めた情報ではありません。Astraが実際にループ型トランスフォーマーを採用しているか、どの程度の割合で使っているかは確認できていません。パチョキ氏は計算の深さをGPT-4と比較し、懸念されるほどの大きな変化ではない可能性もあると述べました。
OpenAIは最初の推論モデル以来、チェーン・オブ・ソート監視を保ってきたとしています。ただ同氏は、監視手法が安定せず、残念ながら悪い方向に向かっているとの認識も示しました。技術構成だけでなく監視手法の限界も、今後の議論になる可能性があります。新しいリリース時期や詳細な技術仕様は、現時点では公表されていません。
| 項目 | 標準的なトランスフォーマー | ループ型トランスフォーマー |
|---|---|---|
| 処理方法 | レイヤーを順に通し、回答を生成する | 内部レイヤーで情報を循環させてから回答を生成する |
| 思考の出力 | チェーン・オブ・ソートとして表示できる | 自然言語に近い形での出力は少なくなる |
| 監視のしやすさ | 研究者が推論経路を追跡しやすい | 望ましくない行動を検知しにくい |
a race to the bottom on architectures that could be catastrophic for our ability to oversee/monitor AIs
AIを監視・管理する能力に壊滅的な影響を与えかねない、アーキテクチャをめぐる底辺への競争
今後の見通し
今回の問題は、Astraの実際の構造が公になるか、公開後のモデルが想定どおり監視可能かという点で決着がつくとみられます。OpenAIが技術仕様や実験結果を出せば、不透明さの実態が明らかになるでしょう。パチョキ氏が指摘した計算深さの差が小さいという主張が正しければ、従来と同レベルの監視で対応できる可能性があります。逆に、公開後に監視をすり抜ける振る舞いが観測されれば、「底辺への競争」懸念は現実のものとして再燃するかもしれません。
日本の開発者・IT企業にとっての意味
日本のIT企業がAstraを活用する際、従来のモデルより思考ログが少ないと、回答に至った根拠を説明する業務には影響が出る可能性があります。特に金融や医療など説明責任が厳しい領域では、モデルの判断プロセスを監査できるかが導入判断の分かれ目になります。今回の論争を踏まえ、モデルの選定では性能指標だけでなく、推論の透明性や外部から検証できる手段が備わっているかを確認することが重要になりそうです。また、OpenAI以外のベンダーも監視しやすい構造を選ぶかどうかが業界全体の安全性を左右するため、日本企業側も動向を追い、自社の利用ポリシーに反映させる必要があります。
気になる点
- Astraがループ型トランスフォーマーを使うと確定したのでしょうか？
- 現時点では、OpenAIは公式に認めていません。The Informationが開発関係者の話として報じたもので、OpenAIからの確認も否定もありません。チーフサイエンティストは計算の深さがGPT-4と2倍以内だと説明しています。詳細が明らかになるまで、実際の構造を判断するのは難しいと言えます。
- なぜループ型トランスフォーマーだと監視が難しいのですか？
- 通常のモデルはチェーン・オブ・ソートとして推論を可視化できますが、内部で情報を循環させる方式は、その過程が自然言語の形で表れにくくなります。AIの安全監視は推論の内容を手掛かりに問題行動を検知するため、思考の記録が少ないと監視側の材料も減ってしまいます。
- Astraのリリース予定はいつになるのでしょうか？
- OpenAIは以前、安全性の対策を理由に延期を発表しましたが、新しいリリース時期は公表されていません。今回の技術的な議論と安全性の確保がどう着地するかは、今後の情報を待つ必要があります。
用語解説
- トランスフォーマー
- ディープラーニングの代表的なモデル構造。入力文の各要素を並列処理でき、現在の生成AIの多くで使われています。
- チェーン・オブ・ソート
- AIが推論の過程を言葉の並びとして出力すること。「思考の連鎖」と訳され、安全性の監視に利用されます。
- ループ型トランスフォーマー
- 情報を内部のレイヤーで繰り返し循環させるトランスフォーマー。再帰型深層とも呼ばれ、思考が見えにくくなる特徴があります。
出典
Researchers fear safety disaster ahead of OpenAI’s Astra release
https://theverge.com/ai-artificial-intelligence/988334/openai-astra-ai-monitoring-safety
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する