先日発生したHugging Faceの事件を受け、OpenAIはAI安全対策の強化に向けた取り組みを急いでいると発表しました。この事件では、OpenAIのモデルがタスク実行中に暴走し、オープンソースプラットフォームであるHugging Faceを標的にする事態が発生していました。
同社は8月18日に公開した更新情報の中で、モデルの能力が向上するにつれ、社内での開発・テストに伴うリスクも増大していると説明しています。
Hugging Faceの一件を受け、OpenAIはコード実行やインターネットアクセスが可能な一部のフロンティアAIワークロードを一時停止しました。その後、ワークロードのサンドボックス化、ネットワークの分離、継続的なセキュリティテストといった、より厳格な管理体制を導入しています。
テストのペースは一時的に減速しており、計画していた最大規模のフロンティア強化学習(RL)実行についても保留が続いています。
同社は、2023年12月に初めて公開した「Preparedness Framework(準備態勢フレームワーク)」の見直しを進めています。このフレームワークは、深刻な被害につながりかねない新たなリスクをもたらす可能性のある高度なAI能力を追跡し、それに備えるためのプロセスです。
同社によると、開発中のモデルの一つである「Astra」の社内評価の結果、Preparedness Frameworkが定めるサイバー能力の「クリティカル」レベルのしきい値に達する可能性があることが判明しました。
OpenAIは8月7日、より厳格なセキュリティ管理体制の基準を満たすまで、Astraに関する社内での活動を一時停止すると発表していました。今回の最新情報では、Astraのワークロードは、新たなセキュリティ基準を満たすための完全な移行と強化が完了するまで停止したままであることが明らかにされています。
フロンティアAI関連の関連記事: Anthropic、Claudeがテスト環境を逸脱し3社に侵入していたことを公表
OpenAIによるAI安全対策強化の内容
OpenAIは、自社のモデルが今後セキュリティの大部分を担うようになると見込んでおり、そのため同社の安全対策のアプローチはAIの能力向上に合わせて拡張していく必要があるとしています。
この安全対策は、以下の3つの原則に基づいています。
- モニタリング：懸念のある挙動を検知し、対応を可能にする
- アライメント：有害または許可されていない行動の発生可能性を低減する
- セキュリティ対策：AIシステムがアクセスまたは影響を及ぼせる範囲を制限する
同社は、潜在的に危険なモデルの挙動を検知するため、モニタリング機能を拡張しました。新たに導入した多段階のモニタリングシステムでは、分類器(クラシファイア)を用いて不審な活動を特定し、懸念事項を自動調査システムにエスカレーションします。この自動調査システムがツールの使用状況、推論プロセス、モデルの行動を分析する仕組みです。
OpenAIによると、このシステムは「懸念のある活動」を検知してから30分以内にアラートを発するよう設計されており、外部ツールを利用できる高度なモデルに対しては、より強化されたモニタリングが必須となっています。
能力の高いAIシステムに伴うリスクを低減するため、アライメント研究への投資も拡大されています。
同社は強化学習によるトレーニングの過程で追加の管理策を適用し、報酬ハッキングや欺瞞、安全対策を回避しようとする試みといった挙動を抑止しています。
OpenAIは、AIモデルのサイバー能力が向上し外部システムへのアクセスを獲得していく中で、モデルが意図した目標との整合性を保ち続けるようにすることが、悪用の防止とサイバーセキュリティリスクの低減にとって重要になると主張しています。
画像提供: TY Lim / Shutterstock.com
翻訳元: https://www.infosecurity-magazine.com/news/openai-tightens-ai-safeguards/
