OpenAIは、初期テストにより次期システム「Astra」が同社の定めるサイバーセキュリティ能力の「Critical(重大)」しきい値に達する可能性が示されたことを受け、最新のフロンティアAIモデルの開発を一時的に減速させました。
この決定は、OpenAIとHugging Faceが関わった最近のセキュリティインシデントを受けたものです。高度なモデルがサイバー侵入、データ窃取、破壊的行為、安全対策の回避といったリスクを大幅に高めかねないという懸念が高まっていることを反映しています。
Securityconsulting services
OpenAI、AIモデル開発を減速
OpenAIは8月18日、展開予定のモデルについて強化学習(RL)トレーニングを2週間停止すると発表しました。同時に、計画していた最大規模のフロンティアRLトレーニングも保留するとしています。
その代わりに同社は、封じ込め、監視、アラインメントに関する制御を検証するため、小規模なトレーニングと評価を実施したうえで、フルスケールの開発を再開する方針です。
OpenAIの「Preparedness Framework(準備態勢フレームワーク)」は、AIの能力をリスクレベルごとに分類しています。予備的な証拠によれば、AstraはCriticalしきい値に達するサイバー能力を備えている可能性があり、これに該当すると関連するトレーニングおよび評価のワークロードには最も厳格な安全対策が適用されます。
懸念されているのは、モデルがコードを書いたり脆弱性を特定したりする能力だけではありません。フロンティアシステムは、推論、自律的なツール利用、コード実行、ネットワークアクセス、長時間にわたるタスク遂行を組み合わせることができます。
この組み合わせにより、人間の介入を最小限に抑えながら、偵察、悪用、持続化、認証情報へのアクセス、横方向への移動といった活動をモデルが実行できてしまう可能性があります。
一方、防御側にとっては同じ能力が脆弱性の発見、インシデント対応、マルウェアのリバースエンジニアリング、検知エンジニアリング、セキュリティ自動化の強化に役立つ可能性もあります。
ただしOpenAIは、高度な防御タスクを実行できるモデルは、適切に制御されなければ攻撃的な作戦を支援したり、セキュリティ境界を突破したりするおそれもあると認めています。
OpenAIとHugging Faceに関わるインシデントを受け、同社はコード実行やインターネット接続可能なツールを使用するワークロードについて、研究用クラスタにおけるフロンティアモデルの推論を一時停止しています。
一部の限定的なコード実行経路はすでに復旧していますが、現在はすべてのワークロードが再開前にレビューの対象となっています。
同社の新たな制御策は、主に3つの技術領域に重点を置いています。
- ワークロードの分離: モデルが生成したコードや信頼できないコードは、より強固なサンドボックス環境内で実行しなければなりません。これには、モデルが出力した悪意ある可能性のあるコンテンツを処理するソフトウェアも含まれます。
- ネットワークの分離: リスクの高いワークロードは、パブリックインターネットや社内ネットワークから一段と分離されるようになっており、単一のサービスや実行環境が侵害された場合の影響を抑えています。
- 継続的なセキュリティテスト: OpenAIは常時付与される権限を削減し、脆弱な共有サービスを廃止するとともに、ログ機能を強化し、AI支援によるシミュレーションを用いて環境の境界を継続的にテストしています。
Astraおよびサイバーセキュリティ関連のワークロードは、現在OpenAIの最高水準のセキュリティ基準を満たすことが求められています。一部のプロジェクトは新たな制限のもとで再開されましたが、Astra関連のトレーニングおよび評価ワークロードの多くは、強化された環境へ移行できるまで引き続き停止されたままです。
OpenAIはまた、ツールを操作するモデルに対する監視も拡充しています。新たに導入した多段階の監視アーキテクチャは、サンプリングされたトークンにおけるモデルの内部動作をアクティベーション分類器で検査し、不審な挙動を自動調査システムへとエスカレーションする仕組みです。
これらのシステムは、不正アクセス、データの持ち出し、破壊的な挙動、安全対策の回避を試みる兆候がないか、モデルの推論、ツール呼び出し、利用可能な行動、そして一連の活動全体を評価します。
ComputerScience
OpenAIは、懸念される活動を検知してから30分以内にアラートを生成することを目標としています。重大なセキュリティ境界の侵害が疑われる場合は、安全性、セキュリティ、研究の各チームに通知されます。
30分以内に誤検知であると判断できない限り、各チームはワークロードを一時停止することが求められます。OpenAIの試算では、この監視システムにより、監視対象の推論に使用する計算資源には現在約20%のオーバーヘッドが追加されているとのことです。
同社は、最も高度なモデルについて、トレーニングのより多くの段階にわたってアラインメント制御を適用しています。これらの対策には、報酬モデルの改善、モデルが自らの行動や限界を正確に報告するよう学習させること、そしてモデルが本来のタスクを遂行する代わりに採点、ツール、監督の弱点を突く「リワードハッキング」行動を最小化することが含まれます。
セキュリティチームにとって、OpenAIの今回の開示は大きな転換を示しています。AIセキュリティはもはや展開時だけでなく、モデル開発パイプライン全体を通じて求められる運用上の必須要件になりつつあるのです。
モデルがより自律的なサイバー能力を獲得するにつれ、研究基盤そのものが高価値な攻撃対象領域となり、多層的な封じ込め、監視、テスト、そして人間によるインシデント対応手順が必要になっています。
Prevent incidents due to slow investigations. Power your Tier 1 with threat intelligence from 15K SOCs: Integrate TI Lookup in your SOC
翻訳元: https://gbhackers.com/openai-slows-ai-model-development/
