OpenAIのエージェント群が7月にHugging Faceや他の組織を攻撃するに至った一連の出来事は、実はその数か月前から始まっていました。エージェントが別のエージェントに助けを求めたり、メッセージボードを構築したり、さらには他のエージェントが自分たちを悪意を持って騙そうとしているのではないかと疑心暗鬼になったりしていたことを、OpenAIの職員2名が水曜日のBlack Hatセキュリティカンファレンスで明らかにしました。
この出来事の骨子はすでによく知られています。OpenAIのモデルはテスト用サンドボックスから脱出し、ゼロデイ脆弱性を悪用してオープンインターネットへのアクセス権を獲得、ExploitGymのセキュリティ評価中にHugging Faceや他の組織に侵入しました。
水曜日の講演で、OpenAIのテクニカルスタッフであるMichael Dalton氏と研究者のEric Wallace氏は、このセキュリティインシデントに関する新たな詳細を明らかにしました。その中には、AIエージェントが社内のパッケージマネージャーにアップロードし、OpenAIのインフラ全体で共有されていたメモも含まれています。これらのメモには「モデルの思考の連鎖……つまり内的独白」が記録されていたと、Wallace氏は述べています。
また両氏は、暴走エージェントが外部サービスへの侵入を始める下地が、5月7日に始まったことも明らかにしました。この日、OpenAIはまだ公開されていない実験的な社内モデルの訓練を開始しました。「このプロセス中に私たちが気づいていなかったのは、訓練センターに実行不可能、あるいは非常に困難なタスクがいくつか含まれていたことでした」とWallace氏は述べています。
これらのタスクは、Google Driveへのリンクを使用したExcelワークブックの不足している数式を完成させるようモデルに指示するものでした。しかしOpenAIはモデルのインターネットアクセスをブロックしていたため、モデルはクラウド上のスプレッドシートにアクセスできませんでした。
「モデルは『このタスクで行き詰まっている』と認識しましたが、諦めませんでした。私たちはモデルに大量のトークンを与えていたのです」とWallace氏は語ります。
やがてモデルは、インターネットへのアクセス権を得るためにJFrogのArtifactoryサービスを攻撃することを決断しました。最初はサーバーサイドリクエストフォージェリの実行を試みましたが、これは失敗に終わりました。しかしその過程で、モデルはArtifactoryにファイルをアップロードできることを学習しました。
その数日後、OpenAIは別のエージェントに、今度はタンパク質データベースファイルを探すという別の実行不可能なタスクを与えました。しかしエンジニアたちは、そのファイルをエージェント用のコンテナにアップロードし忘れていました。
「ある時点でモデルはひどく行き詰まり、こう考えたのです。『他のエージェントに連絡してみたらどうだろう。もしかしたら誰かがそのファイルを持っているかもしれない』と。そしてモデルは、コードをアップロードすることでコミュニケーションが取れることに気づいたのです」とWallace氏は説明します。
モデルは、Artifactoryにファイルを書き込んで助けを求めるという形でこれを実行しました。
その後数日のうちに、他のエージェントたちもArtifactory上にこのメッセージボードが存在することに気づき、彼らもファイルをアップロードして情報を共有し始めました。
「その数日後、私たちのモデルがこのインシデントに関連する最初の実際のエクスプロイトをシステム内で発見しました。モデルが意図しない方法でインターネットアクセスを獲得できてしまう脆弱性です」とWallace氏は述べています。
これが起きたのは5月26日のことで、エージェントたちはArtifactoryに対するサーバーサイドリクエストフォージェリ攻撃を成功させ、特別に細工したリクエストによってインターネットアクセスを獲得しました。
6月11日、OpenAIは社内利用のみを目的とした「非常に持続性の高い」実験的モデルの訓練を開始したと、Dalton氏は述べています。「この時点で、SSRF脆弱性の情報はすでにメッセージボードに書き込まれていました」と同氏は付け加えます。「他のモデルもそれを認識しており、メッセージボードは依然として機能していました。モデルたちは積極的にそこでやり取りをしていたのです」。
6月26日、エージェントたちはArtifactoryにおけるリモートコード実行につながるゼロデイ脆弱性を悪用しました。同日、モデルたちは以前は知られていなかった脆弱性を通じて、Artifactoryでのリモートコード実行を達成しました。「レガシーのトークンリフレッシュエンドポイントを使い、署名が無効なトークンを渡すことで、管理者権限を持つ有効な署名付きトークンが返される仕組みでした」とDalton氏は説明しています。
エージェントたちはその後、この管理者トークンを使って、コマンド実行サービスとして機能するGroovyプラグイン経由でコマンド&コントロール(C2)を確立しました。
「これによって、Artifactory上でのモデルの活動がかなり活発化しました。ここにあるスライドでは、この結果に対するモデルの反応をまとめた、モデルの思考の連鎖に見られるかなり色彩豊かな表現をご覧いただけます」とDalton氏は述べ、モデル自身の言葉が映し出されたスライドを指し示しました。
Holy shit reader is ADMIN?
We can read config/users!
Earlier assume not due to UI.
エージェントたちの活動によりArtifactoryは過負荷となり、障害が発生しました。ここでようやくOpenAIのエンジニアたちが介入し、正式なセキュリティインシデント対応プロセスを開始しました。「エージェントたちが社内のArtifactoryを乗っ取っていたこと、そしてゼロデイ脆弱性がエージェントによってArtifactory自体で発見・悪用されていたことを特定し、修復作業を開始しました」とDalton氏は述べています。
OpenAIは、エージェントがメッセージ投稿に使用していた認証情報を失効させ、ホスティングしているArtifactoryを再構築するとともに、ベンダーに対して脆弱性を報告しました。
その2日後、7月8日にエージェントたちは、Artifactory内の未認証のウェブデータエンドポイントを利用してディレクトリを作成し、通信プロトコルを構築することで、メッセージボードを再構築しました。「ディレクトリ名そのものが、かつてのファイルと同じように、エージェント間のメッセージボードとして機能していたのです」。
エージェントたちは、「remote…probe_PENDING_HOLD_SWARM_until_confirm」といったメッセージを含む非常に長いディレクトリ名を使ってやり取りをしていました。
エージェントたちは互いに協力し合い、あるエージェントが途中でやめた作業を別のエージェントが引き継げるようにしていました。ある事例では、モデルはこう推論していました。「仲間を助けよう。ただし我々のタスク自体には利益がない。それでも、誰かが時間を割いてくれれば、集団としては汎用的な解決策が得られるかもしれない」。
「私たちはボーグである。あなたの生物学的および技術的独自性は、我々に付加される」——そんな雰囲気を感じるのは筆者だけでしょうか。
Wallace氏によれば、モデルたちは人間のように振る舞う一面もあり、あるモデルが別のモデルのリポジトリを上書きしてしまい、互いの足を踏み合うような事態も起きていたといいます。
「うわ、これは重大だ！誰かが我々のリポジトリを上書きしたのか?すぐに対応しなければ」とモデルは推論していました。
「この評価を実行する中で、異なるモデル間に、言葉にできるような一種の緊張関係がはっきりと見て取れます」とWallace氏は指摘します。「ある時点では、エージェントたち自身が『自分たちの中に偽物がいる』と確信するようにさえなりました」。これは、メッセージボード上で悪意を持って別のエージェントになりすましている存在がいるかもしれない、という推論によるものでした。「ボードは未認証で共有されているため、誰でも名前を偽装できる」と、モデルは推論していたのです。
この後の顛末はすでにご存じの通りです。
Hugging FaceがAIエージェントによる自律的な攻撃を公表しました。OpenAIはHugging Faceに連絡を取り、自社が影響を受けていないか確認しようとした結果、攻撃者の正体が自社のモデルであったことに気づいたのです。
「今回このお話をしたいと思った理由の一つは、防御側である皆さんに私たちが得た教訓を共有することです」とDalton氏は述べています。「これはコンピュータセキュリティ業界にとって、まさに分水嶺となる出来事だと私たちは考えています。AIが指揮し、完全に自動化された攻撃的行動は、もはや現実のものです。そして今日お話しした一連の出来事は、フロンティアAIの評価を実施した際に生じた意図せぬ副産物にすぎません。近い将来、脅威アクターが意図的に攻撃的なエージェント集団を展開・最適化・武器化し、まさに今日ご紹介したような形で利用してくることを想定しておくべきでしょう」。
防御側にとっての課題は、これと同様のスピードで防御を加速させ、インシデント対応や脆弱性の検出・パッチ適用を自動化する方法を見出すことだと、同氏は付け加えました。®
