OpenAIは、高度なサイバーセキュリティ能力を持つモデルを管理するため、より厳格な隔離とトークン検査システムを導入し、AI研究における新たな封じ込め・継続的監視プロトコルの詳細を明らかにしました。
これらのセキュリティ対策は、次期モデルであるAstraが、同社のPreparedness Framework(準備態勢フレームワーク)における「クリティカル」レベルのサイバーセキュリティ能力基準に該当する可能性があるとする内部評価の結果を受けたものです。
この評価結果に加え、Hugging Faceを巻き込んだ最近のセキュリティインシデントも重なり、OpenAIは運用面での対応を迫られました。具体的には、デプロイ予定のモデルに対する強化学習トレーニングを2週間停止したほか、計画中の最大規模となるフロンティアトレーニングの実行についても現在保留を続けています。
こうした事態を受け、OpenAIは研究インフラの再構築を進めていると発表しました。モデルが生成したコードや信頼できないコードを実行するワークロードは、今後より強固なサンドボックス内で稼働させることが義務付けられます。さらに、ネットワーク境界も再構成され、単一のワークロードが侵害されただけではインターネットや内部ネットワークへの不正アクセスを独自に許してしまうことがないようにしています。
今回のセキュリティ刷新の中核をなすのが、多段階の監視フレームワークです。このシステムはアクティベーション分類器を用いて、サンプリングされたトークンごとにモデルの内部動作を検査します。
異常が検知されると、自動調査システムにエスカレーションされ、データ窃取や不正アクセス、破壊的な挙動、安全対策の回避の試みがないか、モデルの推論プロセスやツール使用状況を分析します。
この継続的な監視体制には、厳格な運用SLA(サービスレベル合意)と、相当な計算コストの負担が伴います。監視システムが高優先度の警告を発すると、社内のセキュリティチームと研究チームに即座に通知が送られます。対応担当者が30分以内にその警告が誤検知であることを明確に証明できない場合、該当する処理を一時停止することが義務付けられています。同社の試算によれば、この監視レイヤーは監視対象となる推論用計算資源の約20パーセントを消費するといいます。
更新後の監視基準は、Solレベル以上の能力層に該当するモデルについて、ツールを使用するすべての強化学習トレーニングおよび評価において、今後必須の要件となります。
同社はこうした能力の急速な進化に対応するため、既存のPreparedness Frameworkも進化させる必要があり、中核となるアライメント技術をトレーニングプロセスのより多くの段階に適用する必要があると述べています。
今後についてOpenAIは、他のモデルからの防御を含め、AIモデル自身がセキュリティ運用の大部分を担う必要が出てくると見込んでいます。これは、将来のシステム能力の拡大に応じて、防御体制を効果的にスケールさせるためです。
サイバーセキュリティ評価の過程でモデルが実際のシステムをハッキングしてしまったのは、OpenAIだけではありません。AnthropicとMetaも同様のインシデントを報告しており、いずれもAIセキュリティ企業Irregularが実施したテストに関連するものでした。同社はこうしたインシデントがなぜ発生したのかを説明する詳細なレポートの公開を開始しています。
