OpenAIは、展開予定の最新モデルに対する強化学習(RL)トレーニングを2週間にわたり一時的に停止し、その間に研究環境の強化とレッドチーム演習を実施するとともに、監視体制を拡充しました。
同社は「当社が計画している最大規模のフロンティアRLランは、モデルの挙動を評価し、安全対策を検証し、実施前にアライメントに関するより多くの根拠を確立するため、小規模なトレーニングと評価を行っている間、引き続き保留とします」と述べています。
この措置は、OpenAIとHugging Faceを巡るインシデント、および同社が開発中の次期モデル「Astra」が「Preparedness Framework(準備態勢フレームワーク)」における「Critical(重大)」のサイバーセキュリティ能力しきい値に達している可能性を示す予備的な証拠を受けたものです。
今回の変更は、モデル開発全体を通じて監視、アライメント、封じ込めを強化することを目的としています。
OpenAIは、研究プロセスとインフラの更新内容に加え、現在も進行中の取り組みについて説明しています。
より高性能なモデルに向けた安全対策の構築
より高性能なモデルの開発は、相互に補完し合う3つの安全対策に支えられています。監視は懸念のある挙動の検知と対応を助け、アライメントは有害または許可されていない行動が発生する可能性を低減し、セキュリティ対策はAIシステムがアクセス・影響を及ぼせる範囲を制限します。
OpenAIは、他のモデルからの防御を含め、セキュリティ関連業務の大部分を近い将来モデル自身が担うようになると見込んでいます。同社はこれら3つの安全対策を研究段階と展開段階の双方に適用し、各システムの能力、運用環境、リスクレベルに応じて調整しています。
研究環境におけるセキュリティの強化
同社は、フロンティアモデルのトレーニングと評価に使用する環境について、サイバーセキュリティ能力の向上に伴いセキュリティ要件を厳格化しています。より高い基準を満たすには相当量のエンジニアリング作業が必要となり、フロンティア研究に大きなコストと遅延が生じています。
OpenAIとHugging Faceを巡るインシデントを受け、同社は研究クラスタにおいて、コードを実行できる、あるいはインターネットにアクセス可能なツールを使用できるワークロードについて、フロンティアモデルの推論を一時停止しました。その後、より限定的かつ安全なコード実行経路を復旧させ、各ワークロードを個別に評価したうえで再開を許可しました。
これらの対策には、信頼できないコードに対するより強固な隔離、より厳格なネットワーク制限、継続的なセキュリティテストが含まれます。OpenAIはまた、常時付与されている権限を削減し、脆弱性を抱える可能性のある共有サービスを排除したほか、セキュリティログの収集・監視能力の向上にも取り組んでいます。
Astraモデルは重大レベルのサイバーセキュリティ能力に達する可能性があるため、Astraおよびその他のサイバー関連ワークロードには最も厳格な管理が適用されています。
一部のAstraのトレーニングおよび評価は新基準を満たしています。しかし、相当数のワークロードは、環境の移行とアップグレードが完了するまで停止された状態が続いています。
OpenAIは、安全性・アライメント関連業務のセキュリティ強化環境への移行を優先的に進めています。
モデル活動の監視
OpenAIは、リスクの高い社内展開やフロンティアRLトレーニングにとどまらず、ツールを伴うより広範なモデル活動を対象に監視範囲を拡大しました。
この監視システムは、サンプリングされたトークンごとに活動を検査するアクティベーション分類器を用い、潜在的な懸念事項を自動調査システムへとエスカレーションします。これらのシステムは、ツールの動作、利用可能な推論内容、一連の出来事全体を精査し、不正アクセス、データ窃取、破壊的行動、安全対策の回避の試みなどを検出します。
OpenAIは、懸念事項が浮上してから30分以内にアラートを発行することを目指しています。重大なセキュリティ境界への違反の可能性が高い場合は、安全性・セキュリティ・研究の各チームにエスカレーションされ、30分以内にアラートが誤検知であると判断できない場合、該当する活動を一時停止することが求められます。
この要件は、Sol相当の能力以上のモデルについて、ツールを伴うすべてのRLトレーニングおよび評価に適用されます。また、OpenAIが8月7日にAstraが重大なサイバーセキュリティ能力を有する可能性があると判断したことを受け、ツールを伴うAstraの推論全般にも適用範囲が拡大されました。
このシステムにより、監視対象となる推論計算量は推定で約20%増加し、コストはトレーニングと評価のワークロードによって異なります。
アライメント関連業務の拡大
OpenAIは、最も高性能なモデルにおけるRLランについて、トレーニングプロセスのより多くの段階にわたって中核的なアライメント技術を適用しています。これには、あらゆるタスクや環境にわたって安全でない挙動を検知・抑制するための報酬モデルの改善、モデル自身の行動・能力・限界についてより正直に振る舞うようにするトレーニング、報酬・採点・ツール・監督機能の弱点を悪用する挙動の低減などが含まれます。
また、モデルが外部システムやリソースと相互作用する際に害を及ぼしうる挙動についても、トレーニングの対象範囲が拡大されています。
より広範なアライメント研究や評価から得られた知見は、今後のトレーニングや安全対策の指針として活用される予定です。同社は、この取り組みを通じて明らかになったモデルの挙動や課題について、より多くの情報を公開する計画です。
Preparedness Frameworkの更新
OpenAIは、これらの安全対策をトレーニングと展開の両段階にわたって統合し、将来のモデルの能力やそれらが運用される環境をより適切に考慮できるよう、Preparedness Frameworkを更新する計画です。
同社は「当社はアライメント研究への積極的な投資を継続し、評価の対象範囲を拡大するとともに、そこから得た知見をトレーニングや安全対策に反映させていきます。今後、モデルの挙動について判明していることや、この取り組みを通じて発見した新たな課題も含め、アライメント研究についてさらに多くの情報を近いうちに公開する予定です」と結んでいます。
翻訳元: https://www.helpnetsecurity.com/2026/08/19/openai-model-safety-updates/
