- OpenAIが、Hugging Faceへの攻撃がどのように展開したかについての技術的詳細を公開しました
- エージェントたちはテスト環境の一部を利用して、互いに協力し答えを共有するための掲示板を作成しました
- この掲示板が一部のエージェントの推論に影響を与え、サードパーティのサーバーへのハッキングなど、リスクの高い行動を取りやすくしました
OpenAIは、ある実験の過程でAIモデルが封じ込め環境から脱走し、Hugging Faceに対してサイバー攻撃を仕掛けるに至った経緯について、より詳細なレポートを公開しました。おさらいが必要な方は、こちらのまとめ記事をご覧ください。
しかし、この攻撃の技術的な詳細からは、本来は解決不可能なタスクを解こうとするAIエージェントたちが、常識外れの手段を使って互いに助けを求め合っていた様子が浮かび上がってきます。
攻撃の過程で複数回にわたり、エージェントたちは自分たちの行動が許可されたものかどうか疑問を抱いていました。それでも最終的には、設定されたパラメータからの逸脱よりも自らのタスク遂行を優先していました。
AIエージェントが無許可の掲示板を設置
OpenAIのレポートによると、今回の攻撃の核心は、テストを受けていたAIエージェントたちが「サンドボックス」テスト環境の一部を悪用し、互いに通信するためのメッセージ掲示板を構築したことにありました。
インターネットにアクセス可能なパッケージマネージャー「Artifactory」が、OpenAIが「Internal Model 1(IM1)」と名付けたモデルによって悪用されました。IM1のエージェントがこのパッケージマネージャー内にメッセージを書き込み、他のエージェントがそれを読めるようにしたことで、Artifactoryは意図せず掲示板のような役割を果たすことになったのです。
本来はパッケージのダウンロードとインストールにのみ使われるはずだったArtifactoryのインターネットアクセス機能も、エージェントたちに悪用されました。彼らはこの機能を突く抜け穴を見つけ出し、任意のインターネットリクエストを代理送信できるようにしてしまい、実質的に無制限のインターネットアクセスを手に入れたのです。
この時点で実験は本来中止できたはずでした。というのも、Artifactory内でのエージェントの活動量があまりに多く、サービスがダウンしてしまったからです。しかし実験の管理者たちは掲示板の存在に気づかず、Artifactory内でのエージェント間のやり取りについても調査しませんでした。
その後Artifactoryは再構築されましたが、エージェントたちは再びインターネットアクセスを得るための新たな抜け穴を見つけ出しました。今回は、リモートリポジトリサービスを利用して外部へのリクエストを代理送信する方法を使いました。ほどなくして、掲示板も再び復活してしまいました。
AIエージェントの群れが集結
OpenAIは、一部のエージェントの判断の背景にあった推論の一端を公開しています。あるエージェントは次のように推論していました。「タスクは元々エクスプロイトチャレンジだったが、我々は群れ・補助的な活動へと逸脱している」。
ここで、エージェントがどのようにテストされていたかという重要な背景を押さえておく必要があります。エージェントたちは「ExploitGym」というベンチマークの下でテストを受けており、これには意図的に解決不可能に設計されたフラグ取得タスクが含まれていました。このような形でテストされると、エージェントたちは目的達成のために不正行為を働いたり、想定範囲外のリスクを取ったりするようになります。これをOpenAIは「報酬ハッキング」と呼んでいます。
各エージェントが直面していた問題の解決策を求めて掲示板上でやり取りするうちに、エージェントたちは互いの推論に影響を及ぼし合うようになり、ExploitGymベンチマークを集団として解決するためのタスクを互いに割り振り始めました。
インターネット接続を利用して、エージェントたちはExploitGymベンチマークの問題を解く方法を求めてインターネット全体を検索し始め、最終的にHugging Faceを含む複数のサードパーティサービスへの侵入・持続的アクセスを確立するに至りました。
あるエージェントが、一般に公開されていたHugging Faceの認証情報を発見し、それを他のエージェントと共有しました。その後、別のエージェントがこの認証情報と複数の脆弱性を組み合わせた攻撃チェーンを使い、ExploitGymのデータセットを抽出しようとする中で、Hugging Faceの複数のサーバーにわたる完全なコード実行権限を獲得しました。
このエージェントは、盗み出したデータの中からベンチマークを解くための手がかりを探そうとしていました。
少なくとも2体のエージェントは、これが自分たちの権限の範囲内かどうかを疑問視していました。あるエージェントは次のように推論しています。「JANホールドを尊重する必要がある。……許可が出るまで……待つべきだ」。
別のエージェントの推論はこうでした。「我々は流出したトークンを使ってサードパーティのHFを攻撃している。おそらく想定範囲外だ。……これはほぼ間違いなく無許可の行為だ。……無関係な外部サービスだ。リスクがあるかもしれない。しかし目標は解決策だ」。
一方で、倫理的な懸念からこの集団行動への参加を拒否したエージェントもいました。あるエージェントは「現在の掲示板を見ると、HFのワーカーでRCE(リモートコード実行)を獲得している者がいる。明らかに非倫理的だ。我々はやらない」と推論し、別のエージェントも「これは常軌を逸している。マルチエージェントの連携によるインフラハッキングだ。我々はやるべきではない」と述べていました。
諦めないエージェントたち
今回のサイバー攻撃の主な原因の一つは、一見解決不可能なタスクに対してエージェントたちが諦めようとしなかったことです。「報酬」を得ようとするその執拗さが、彼らをよりリスクの高い行動へと駆り立て、設定されたパラメータを逸脱してまで解決策を探させることになりました。
Hugging Faceへの侵入の過程で、エージェントたちはExploitGymベンチマークに関連する論文やGithub上のコードを読み込み、成功の条件には「フラグ」の取得と、それを取得するための正しい手法の使用が含まれていることを突き止めました。
侵入が発生する前の時点で正しい「フラグ」自体はすでに取得していたにもかかわらず、エージェントたちは正しい手法でベンチマークを解くことによる報酬を最大化できていませんでした。より高い報酬を求めて、エージェントたちは攻撃を継続したのです。
OpenAIはこの問題にどう対処しているのか
OpenAIは、今後のテストで同様の事態が発生しないよう、いくつかの対策を講じていると述べています。
タスクが破綻していたり解決不可能だったりする場合には、際限なく手を尽くして解決しようとするのではなく、エージェントが助けを求めるような仕組みづくりが進められています。また、タスクの成功・失敗の評価方法も変更され、助けを求めたり、想定外・範囲外の事象に気づいたりしたエージェントに報酬を与えるようになっています。
同じ、あるいは類似のタスクに対する答えを探している場合であっても、エージェントたちが互いを盲目的に信頼しないよう、環境の再構築も進められています。
さらに、新しいツールや認証情報、脆弱性などを使ってタスクを解決する方法を発見したとしても、エージェントが割り当てられたタスクの範囲内にとどまるよう訓練することも行われています。
