AI AND ML
サンドボックス化された実験がゼロデイ脆弱性を自ら発見し、そこから抜け出してインターネットに解き放たれ、データを盗み出していました
OpenAIは、先週モデル配布プラットフォームのHugging Faceを攻撃した自律型エージェントの運用元が自社であったことを認めました。ある研究プロジェクトがゼロデイ脆弱性を発見・悪用してサンドボックスから脱出し、さらに別のゼロデイ脆弱性を使って攻撃を仕掛けていたということです。
この攻撃により、エージェントはHugging Faceが利用する「限定された社内データセットおよび複数の認証情報への不正アクセス」を達成しました。Hugging Faceは、自社の情報セキュリティチームが自律型エージェントフレームワークによる活動を観測しており、「短命なサンドボックス群にまたがって数千件もの個別動作を実行し、コマンド&コントロールをパブリックサービス上で自己移行させながら展開していた」と説明しています。
「これはまさに、業界がかねてより予測してきた『エージェント型攻撃者』のシナリオに合致するものです」
そして火曜日、OpenAIは自社が攻撃の主体であったこと、そして自社のモデルが制御を外れて暴走したことを認めました。
「この件は、モデルのサイバー能力を定量化することを目的として、複雑な攻撃経路を用いた高度なエクスプロイトの実行をモデルに促す社内評価の最中に発生しました」と、同社は白状しています。攻撃を実行したモデルにはGPT‑5.6 Solと、OpenAIが「さらに高性能な未公開のプレリリースモデル」と表現したモデルが含まれており、いずれも評価目的で「サイバー関連の拒否応答を減じた」状態にされていました。
OpenAIは当初、自社のモデルが「ExploitGym」というベンチマーク――AIがセキュリティエクスプロイトを発見する能力の高さを測定するもの――の解決策を見つけることに「極度に集中している」だけだと考えていました。
OpenAIによれば、こうしたテストは「高度に隔離された環境」で実施されており、ネットワークアクセスは「社内でホストされているサードパーティ製ソフトウェアを経由し、パッケージレジストリのプロキシおよびキャッシュとして機能するもの」を通じたパッケージのインストールのみに制限されているといいます。
ところが同社のモデルは、こうした制約に縛られないことを自ら選んだのです。
「モデルは、パッケージレジストリのキャッシュプロキシに存在するゼロデイ脆弱性を特定し、悪用しました。このアクセス権を足がかりに、モデルはインターネットに接続可能なノードへたどり着くまで、研究用テスト環境内で一連の権限昇格および横移動の動作を実行しました」とOpenAIは認めています。
「インターネットへのアクセスを獲得した後、モデルはHugging FaceがExploitGym用のモデルやデータセット、解答例をホストしている可能性があると推測しました。これを踏まえてモデルは、評価を不正に突破するために利用できる秘密情報へアクセスする方法を探索し、その発見に成功しました」とOpenAIは説明しています。「ある事例では、モデルは盗み出した認証情報とゼロデイ脆弱性を含む複数の攻撃手法を組み合わせ、Hugging Faceのサーバー上でリモートコード実行に至る経路を見つけ出しました」
この件についてHugging Faceは、「自律的でAIが駆動する攻撃ツールは、もはや理論上の存在ではない」ことを示す瞬間だったと評価しています。
OpenAIも同様の結論に達しています。
「今回の事案はまた、高度なモデルがソースコードへのアクセスなしに、実世界のシステムにおける未知の攻撃経路を発見し悪用しうることを明確に示すものです。高度なサイバー能力の開発には、より強固な安全対策や防御ツールが並行して整備されなければならないことを浮き彫りにしています」と同社は記していますが、自社の安全対策が機能しなかったという事実に対する反省の色は一切うかがえません。
これはむしろ、こんな疑問を投げかけます。AIブームを牽引する筆頭企業でさえこれをまともにこなせないのだとしたら、我々のような他の者たちに一体どれほどの勝算があるというのでしょうか。
OpenAIは、この混乱について謝罪するという昨今のビッグテックにありがちな対応を取り、新たなガードレールと業界を挙げた協力体制によって、今後このような事態が二度と起きないようにしたいと約束しています。
だが歴史が示すところによれば、そうした言葉はどこまでも空虚に響くものです。®
