OpenAI、サイバー重要能力に達した新モデルAstraの訓練一時停止と安全策強化

発表の背景と概要

OpenAIは2026年8月18日、モデル開発のペースを意図的に落としていることを公式ブログで明らかにした。背景には、先日起きたOpenAIとHugging Faceに関連するインシデントと、次期モデルAstraが同社のPreparedness Frameworkで「重大なサイバー能力」のしきい値に達する可能性が示されたことがある。これらの出来事により、AIシステムの能力向上に伴うリスクが浮き彫りになった。OpenAIは「監視、整合性、封じ込めの安全策を訓練プロセスの全段階で強化する」として、研究環境の再設計を進めている。

具体的には、最新のデプロイ予定モデルに対する強化学習（RL）訓練を2週間停止し、研究環境のハードニングとレッドチーミングを実施した。また、最大規模のフロンティアRL実行は、より小さな規模での訓練と評価が完了するまで保留としている。OpenAIは「アライメント（整合性）」についても、訓練全体を通じてより強力な証拠を要求する方針に変えた。同社は、これらの対策を相互に補強する三つの柱、すなわち「監視」「アライメント」「セキュリティ」として位置づけている。

研究環境のセキュリティ強化

フロンティアモデルのサイバー能力が高まる中、OpenAIは研究環境のセキュリティ基準を引き上げた。具体的には、モデルが生成したコードや信頼できないコードを実行するワークロードに対し、より強固な隔離（サンドボックス）を要求する。さらに、高リスクなワークロードとインターネットを分離するネットワーク制御を導入し、単一のワークロードが侵害されても、外部ネットワークへの不正アクセスができないように設計した。

また、潜在的に脆弱な共有サービスを排除し、常時権限を減らし、セキュリティログの収集と監視を強化している。さらに、AIモデルを活用した自動化により、シミュレーション攻撃を継続的に実行し、セキュリティ境界をテストする仕組みも整備中だ。特に、Astraとサイバーモデルを扱うワークロードには最も厳格なセキュリティ要件を適用している。ただし、Astraの訓練と評価の一部は新基準に適合しているが、多くのワークロードは移行が完了するまで停止したままとなっている。

多段階モニタリングの導入

OpenAIは、モデルの内部活動を監視する「チェーン・オブ・ソート（思考の連鎖）監視」を拡張した。新しい監視システムは多段階で構成され、まず活性化分類器がサンプルされたトークンごとにモデルの内部状態を調べ、懸念があれば、より高度な自動調査システムにエスカレーションする。調査システムは、ツール操作や推論の内容、一連の活動を調べ、不正アクセス、データ窃取、破壊的行為、安全策の回避などを検出する。

監視システムが重大なセキュリティ境界の違反を検知した場合、最優先アラートが生成され、30分以内に安全・セキュリティ・研究チームが対応する。30分以内に誤検知と判断できなければ、対象のアクティビティを一時停止するルールだ。この監視は、Sol以上の能力を持つモデルがツールを使うすべてのRL訓練と評価に義務付けられた。Astraについては、8月7日に重大なサイバー能力の可能性が判明してから、ツールを使うすべての推論にも適用されている。監視には追加の計算リソースが必要で、推定コストは監視対象の推論計算の約20%に達する。

アライメント研究と今後の予定

OpenAIは、アライメント研究を中核に据えている。最も能力の高いモデルのRL訓練では、報酬モデルの改良により安全でない行動を検出・抑制し、モデルが自分の行動や能力に対して正直になるよう訓練し、報酬や評価者、ツールの弱点を悪用する行動を減らすなど、訓練プロセスのより多くの段階でアライメント技術を適用している。また、外部システムと相互作用する際の有害な行動への訓練カバレッジも拡大している。

今後、OpenAIはPreparedness Frameworkを進化させ、訓練とデプロイの両方でこれらの安全策を統合する予定だ。また、モデル支援によるセキュリティへの投資を続け、外部組織も関与させる方針を示している。ただし、Astraの具体的な能力や訓練停止によるスケジュールへの影響は明らかにされていない。今後の技術報告とブログ記事で詳細が公開される見込みだ。