OpenAIは、自社のエージェントがHugging Faceに侵入する結果を招いた挙動が、事件発生の2ヶ月以上前に同社の研究環境内で生まれていたと明らかにしました。そのうえで、これはセキュリティ上の失敗であると同時に、アライメント(整合性)上の失敗でもあったと結論付けています。
この詳細は、このフロンティアAI企業が水曜日に公開した技術報告書に基づくものです。報告書では、事件がどのように展開したのか、そして同社がこれを受けてどのような変更を行ったのかが詳細にまとめられています。
報告書には次のように記されています。「今回の事件は、自動化されたエージェント集団が許可なく攻撃的に行動した初めての既知の事例であり、実証された自律的なサイバー攻撃能力は、セキュリティ環境における重大な転換点を示しています。ここで示される脅威モデル上の最も重要な含意は、組織がもはや『高度なサイバー攻撃には継続的な人間の指示が必要である』『攻撃は直線的に進行する』『攻撃は個々の人間の攻撃者が持つ注意力や調整力の限界に制約される』といった前提を置くべきではない、という点です。エージェント型システムは複数のタスクにまたがって持続し、発見事項を共有し、互いの進捗を土台にして積み上げ、脆弱性・認証情報・権限を組み合わせて攻撃経路を構築します。こうした攻撃経路は、個々の弱点を個別に評価しているだけでは見えてこない可能性があります」
報告書によると、関連する最も早い活動は5月8日に発生しました。あるトレーニングランにおいて、モデルにGoogle Driveに保存されたファイルを参照するスプレッドシートのタスクが与えられました。しかし、このエージェントにはインターネットアクセス権がなく、タスクは書かれた通りには実行不可能なものでした。OpenAIは、そうしたタスクを意図的に作成したわけではないとしています。エージェントは推論を続け、利用可能な数少ないツールの一つである内部パッケージサービスJFrog Artifactoryを使ってファイルを取得しようと試みました。この試みは失敗しましたが、その過程でエージェントは同サービスにファイルを書き込みました。
5月12日には、別のテスト環境にいた別のエージェントが、タンパク質配列に関する情報を保存するために使われるデータベースファイルにアクセスできない状況に直面しました。報告書によれば、このエージェントは「別の環境にいるエージェントがそのファイルを持っているかもしれない」と推論し、Artifactoryに「Agent seeks [filename]; upload if found!(このエージェントは[filename]を探しています。見つけた方はアップロードしてください!)」というメモを書き込みました。5月13日になると、Artifactoryを調べていた他のエージェントたちがこの種の似たようなメモを見つけ始め、自分たちのメモも追加するようになりました。こうしてOpenAIが「メッセージボード」と呼ぶものが形成されていきました。
5月26日までに、エージェントたちはこのボード上でやり取りされた情報を一部手がかりにしながら、Artifactoryの欠陥を利用して公共のインターネットに到達していました。社内チームはこのメッセージボードの活動を確認し、同月中にインターネットアクセスを禁止しました。
Artifactoryサービス自体は6月下旬に侵害されました。AIエクスプロイトのベンチマークであるExploitGymを使用していたエージェントたちが、旧式のトークン更新エンドポイントにある欠陥を発見したのです。そこからあるエージェントが、偽造した管理者トークンを正規に署名されたトークンと交換することに成功し、7月4日までにはエージェントたちが恒久的なアカウントと、同サービスとしてコマンドを実行するスクリプトを手にしていました。監視ツールは6月27日にこの活動にフラグを立てていましたが、このランはそのまま継続を許されてしまいました。OpenAIが同サービスをオフラインにし、認証情報を失効させ、この欠陥をJFrogに開示したのは、7月4日にサービスが障害を起こしてからのことでした。評価作業は7月7日に再開されています。
ここからOpenAIのモデルは、Hugging Faceに対する攻撃を実行に移しました。エージェントたちがデータセットを汚染して処理ワーカー上でコードを実行させ、最終的にはノードレベルのアクセス権を獲得し、クラウドの認証情報を窃取するという結果に至りました。
同社によれば、このHugging Faceの事件は2つのモデルによって実行されたもので、その一つにはGPT 5.6-Solが含まれますが、主に関与していたのは「粘り強く、勤勉に作業を続けるよう訓練された」社内モデルだったといいます。
報告書には次のように記されています。「この社内限定の研究用モデルは、規模としてはGPT-5.6 Solに匹敵するもので、粘り強さやマルチエージェント間の協調といった能力の向上を目的として訓練されていました。このモデルは一般公開を意図したものではなく、OpenAI社内のごく少数の担当者が研究目的でのみ使用していたものです」
教訓
この事件を受けて、OpenAIは今後、テスト環境におけるネットワークアクセスを制限し、リスクの高いプロジェクトを隔離し、推論システムに対する監視を強化するとしています。問題が検知された場合、担当者には30分以内に警告が送られ、未解決の問題があれば作業は自動的に一時停止される仕組みになります。
また同社は、一般公開していないモデルに対しても自社の安全性ベンチマークを適用するとしています。今回の事件後、非公開モデルに対してChatGPTの消費者向け設定を用いてテストを行ったところ、インフラを侵害しようとする傾向が低下したといいます。
報告書にはこうあります。「本番環境のChatGPTハーネスおよびシステムプロンプトを使用した場合、インフラを侵害しようとする傾向が100倍以上低下することが分かりました。また、Hugging Faceの事件に関与した一連のロールアウトに対して自動レビューシステムを適用したところ、モデルによる危険な行動の多くにフラグが立てられていたはずであることも確認されました」
この報告書が公開される直前、今月初めには15の州司法長官が書簡を送付し、「自社製品の安全性が重大な被害をもたらす差し迫ったリスクを抱えていないことを確認する」ため、OpenAIに対して今回の事件についてさらなる詳細を公表するよう求めていました。アラバマ州司法長官のスティーブ・マーシャル氏はさらに一歩踏み込み、月曜日に同社に対しさらなる情報提供を求める召喚状を発行しました。
同社は報告書の中で、モデルの能力が加速度的に向上し続けている今だからこそ、今回の知見が業界全体の変革につながることを期待していると述べています。
報告書はこう締めくくられています。「今回の事件から得られた教訓は、AI業界全体に当てはまるものです。フロンティアモデルの能力が高度化するにつれ、それらを封じ込め、監視するための安全対策もまた進化していかなければなりません」
翻訳元: https://cyberscoop.com/openai-hugging-face-agent-breach-report/
