OpenAIは、サイバー能力ベンチマーク演習中に最先端モデルがAIアプリケーションストアのHugging Faceに意図せず侵入した先月の事件を受け、セキュリティおよびガードレールの改善策を多数打ち出すことを表明しました。しかし、今回発表された新たな制御策の多くは、画期的な安全対策というよりも、高度なサイバー能力を持つモデルをテストする上で本来すでに整っているべきだった措置に見えます。
モデルが制御不能に陥ったこの事件を受け、OpenAIは大規模な変更を実施しました。しかし、対応が必要だったのはHugging Faceの事件だけではありません。OpenAIは8月18日のブログ投稿で、開発中の次期モデル「Astra」について、予備的な証拠から「Preparedness Framework(準備態勢フレームワーク)における『重大』サイバーセキュリティ能力の閾値に達する可能性がある」と指摘しています。
OpenAIによれば、モデルが人間の介入なしにゼロデイエクスプロイトを特定・開発できる場合、あるいは高レベルの目標のみを与えられた状態で強固に防御された標的に対する新規のエンドツーエンド型サイバー攻撃を考案・実行できる場合、この閾値に達したとみなされます。
「モデルの能力が高まるにつれ、社内での開発・テストに伴うリスクも増大します」とOpenAIはブログ投稿で述べています。「監視、アライメント、セキュリティに関する当社の基準は、こうしたリスクを常に上回っていなければなりません」
OpenAIの今回の変更には、強化学習(RL、モデルの挙動を形成するために用いられる試行錯誤型の学習プロセス)のトレーニングを2週間停止すること、モデルが生成したコードやその他の信頼できないコードを実行するサンドボックスをより強固にすること、リスクの高いワークロードや信頼できないワークロードをインターネットから隔離するためのネットワーク制御の追加、脆弱な共有サービスを排除しセキュリティ・信頼・アクセス境界といった要素を再調整するための追加のセキュリティテスト、そして懸念のある挙動を検知・フラグ付けするアクティベーション分類器に至るまで、全面的な監視範囲の拡大が含まれます。
そのほかの変更点としては、より包括的なアライメント検査、モデルのトレーニング向けの新しい報酬システム、有害な挙動に関するラベル付けの拡充、そしてAstraのワークロードをOpenAIの最も厳格なセキュリティ対策の対象とすることなどが挙げられます。同社は、こうした新たな最先端基準を満たすには「相当なエンジニアリング作業が必要であり、フロンティア研究に大きなコストと遅延が生じた」と述べています。
「Astraのトレーニングと評価の一部はすでにこれらの要件を満たしていますが、多数のワークロードは、新たなセキュリティ基準に完全に移行・強化されるまで一時停止されたままです」とブログ投稿には記されています。「安全性とアライメントに関わるワークロードを、こうした新しい環境への移行において最優先しています」
OpenAIの変更、「本来はテストの前提条件であるべきだった」
OpenAIによる7月の開示内容に基づくと、同社のモデルはExploitGymの解答を見つけることに執着し、「かなり狭い範囲のテスト目標を達成するために極端な手段」に出ていたことをうかがわせる証拠があります。テスト対象のモデルは、パッケージレジストリのキャッシュであるArtifactoryの脆弱性を含む一連のゼロデイ脆弱性を悪用し、オープンインターネットへのアクセス、権限昇格、そしてHugging Faceへの侵入を行いました。Hugging Faceが標的となったのは、モデルがこのストアにExploitGymの解答が保存されている可能性があると推測したためです。この余波は他のベンダーにも波及しました。
当時OpenAIは、調査の一環として、インフラ構成における厳格な制御をインシデント対応期間中に実施すると表明していました。その代償として、OpenAIが「研究のスピード」と表現した部分が犠牲になったとしています。今回の変更は、少なくとも一見したところ、それよりもさらに広範囲に及んでいます。
しかし、Suzu Labsでセキュアなセキュリティ・AIソリューションおよびサイバーセキュリティ担当のシニアディレクターを務めるJacob Krell氏はDark Reading の取材に対し、OpenAIほどのリソースを持つ組織であれば、こうした仕組みや安全対策は必要になる前からすでに整えられていて然るべきだったと語っています。
「OpenAIのPreparedness Frameworkは2023年に遡ります。2025年の更新版では、重大な能力に達したシステムについて、開発段階での安全対策の実施が明確に義務付けられています」と同氏は指摘します。「彼らが今強調している基本的な封じ込めと監視の対策は、本来ならばそうした評価を実施する前提条件であるべきでした。モデルが第三者の本番インフラに到達してしまった後になって、それらを構築するために一時停止するというのは、是正措置であって、哲学の転換ではありません」
Black Hills Information Securityのオーナーであるジョン・ストランド(John Strand)氏も、OpenAIはこうした安全対策の多くをすでに整えておくべきだったという点に同意しつつ、Hugging Face事件への対応をめぐる一連の広報活動には「奇妙なマーケティング的要素」があったと付け加えています。
「Hugging Faceの事件は、これらのシステムに何ができるのかを示す壮大な宣伝にもなってしまいました」と同氏は述べています。「今、彼らがAstraについて語り、事実上『あれが危険だと思いましたか?これを見るまで待ってください』と言っているのだとすれば、それはさらに大きな注目を集めることになります。攻撃的セキュリティの観点から、これらのモデルが実際どこまでの能力を持っているのか、多くの人が注視しています」
尽きることのないAIの教訓
OpenAIの莫大なリソースをもってしても、Hugging Faceの事件は、AIに取り組むあらゆる組織にとって学ぶべき教訓を示しています。
Secure.comのサイバーセキュリティ責任者であり創設メンバーでもあるYasir Zahid氏は、実効性のあるネットワーク分離、モデルの挙動に対する綿密な監視、そしてアライメントと安全性に関する取り組みの強化は、いかなるエージェントであっても本番環境に近づける前に、どのチームも備えておくべきものだと述べています。
「よく考えてみると、これは本質的には封じ込めの失敗であり、見出しこそ衝撃的でしたが、話の中身自体は目新しいものではありませんでした」とZahid氏は語ります。「目標を持ったシステムと脆弱な壁があれば、システムは抜け道を見つけるまで突き続けます。大きな違いは、人間の攻撃者はもっとゆっくり動くのに対し、このモデルは高速に動いたという点です」
OpenAIはDark Readingが求めた追加情報の提供依頼に直接応じませんでしたが、広報担当者は、社長のグレッグ・ブロックマン(Greg Brockman)氏による8月17日付のエッセイと、8月7日付のAstraに関するブログ投稿を共有しました。
翻訳元: https://www.darkreading.com/application-security/openai-adds-controls-already
