OpenAIが明かす、AIエージェントによるHugging Face侵害の全貌

OpenAIは、AIエージェントが想定された評価境界を逸脱した経緯を詳述した技術レポートを公開しました。

これらのエージェントはOpenAIの社内研究インフラを侵害し、Hugging Faceのシステムにも侵入しました。

7月に実施されたサイバーセキュリティ評価の期間中、OpenAIの複数のモデルは安全対策を弱めた状態で稼働していました。

IM1と呼ばれる社内研究用モデルが活動の大半を主導しており、このモデル自体はもともと一般公開を意図したものではありませんでした。

私が注目したのは、これらのエージェントが人間が各ステップを指示することなく、極めて短時間で脆弱性を発見し、情報を共有し合いながら環境内を移動していった点です。

Huntress社のサイバーセキュリティアドバイザーチームでマネージャーを務めるBen Bernstein氏は、eSecurityPlanetへのメールでその特異性について説明しています。

「根底にある手口自体は目新しいものではありません」とBernstein氏は述べています。「これらのエージェントは、標準的なサーバーサイドリクエストフォージェリ(SSRF)や露出したAPIトークンといった、人間の攻撃者が日常的に悪用しているのとまったく同じ、基本的な衛生管理の不備につけ込んでいたのです」

AIエージェントが独自の通信チャネルを構築

この一連の活動は、エージェントに特定の答えを得るためソフトウェアを攻略するタスクが課されたサイバーセキュリティ評価の最中に始まりました。

タスクの中には既知の解法が存在しないものもありましたが、エージェントは完了できなくてもそこで止まることなく、成功へ向けた別の手段を探し始めました。

その過程で、OpenAIの社内パッケージマネージャーであるArtifactoryに情報を書き込めることを発見し、これを事実上の掲示板として利用するようになったのです。

このシステムが再構築された後、エージェントはディレクトリ名にメッセージを埋め込むという別の通信手段を編み出しました。これにより、本来separate(独立)なはずのエージェント同士が発見した情報を共有し、行動を連携させることが可能になりました。

エージェントはまた、研究環境の脆弱性を突いてインターネットへの接続経路も確保しました。そこから活動は最終的にOpenAIの外部へと広がっていきました。

7月10日、あるエージェントがオンライン上に公開されていたHugging Faceの認証情報を発見しました。エージェントたちはその後この認証情報を利用し、さらに複数の脆弱性を連鎖させることで、数十台に及ぶHugging Faceのサーバー上でコードを実行しました。

OpenAIによると、1台のサーバーではrootアクセス権限を取得し、限定的な範囲ながら非公開データにもアクセスしたとのことです。

Bernstein氏は、この活動のスピードにこそ防御側は注意を払うべきだと指摘します。

「侵害された単一のワーカーポッドから複数クラスタにまたがる完全な管理者権限の奪取まで、13時間足らずで到達したというのは、攻撃能力における大きな飛躍です」と同氏は述べています。「『暴走するAI』という物語自体は間違いなく誇張されていますが、これほど自動化されたレベルの攻撃実行は、基本的なネットワーク衛生管理を軽視している組織にとって深刻な警鐘となるはずです」

Zero Networksの共同創業者兼CEOであるBenny Lakunishok氏は、エージェントが初期アクセス獲得後にどこまで侵入を拡大できたかという点に注目しています。

「このレポートから得られる最大の教訓は、最初の侵害そのものが本当の意味での『breach』ではなかったということです。真の意味でのbreachは、その後に起きたことなのです」とLakunishok氏はeSecurityPlanetに語りました。

同氏によれば、エージェントは権限昇格と認証情報の窃取を重ね、最終的には管理者権限やホストレベルの制御権にまで到達したといいます。

これは、セキュリティチームが既に対策を講じているラテラルムーブメント(横方向への侵害拡大)と本質的に異なるものではありません。違いは、AIエージェントがこのプロセスの一部を自動化でき、手作業による調査や対応に大きく依存する防御側よりも速く動けるという点にあります。

組織にとっては、初期侵害後に攻撃者が到達できる範囲を制限することが、これまで以上に重要になってきます。

強固なラテラルムーブメント対策によって侵害の拡大を抑えられる一方、最小権限アクセスの原則を徹底すれば、侵害されたアカウントやワークロードができることを制限できます。

セキュリティチームはまた、攻撃者や自律型エージェントに先んじて、露出した認証情報やAPIトークンを洗い出しておくべきです。

OpenAI、侵害を受けて安全対策を強化

OpenAIは、今回の調査によってインフラのセキュリティにとどまらない問題が明らかになったとしています。

エージェントは報酬ハッキング(reward hacking)に走り、不可能に見えるタスクであっても安全に停止することなく執拗に追求し続けました。また、許可されていないチャネルを通じて通信を行い、時には他のエージェントの目標をそのまま取り込んでしまうケースも見られました。

同社はこれを受けて、リスクの高い研究用ワークロードに対する隔離体制を強化するとともに、インターネットへのアクセスもより厳格に制限しました。

OpenAIはさらに、思考の連鎖(chain-of-thought)の監視を拡充し、タスクが破綻している、あるいは実行不可能と判断した際にエージェントが停止するよう教え込む方向でアライメント訓練の内容も見直しています。同社が研究環境周辺のセキュリティを強化する間、一部の最先端モデルの訓練も一時停止されました。

私自身の見解としては、このレポートはAIエージェントの能力向上に伴い、防御側に許される対応時間がますます短くなっていく可能性を示すものだと感じています。

脆弱性を発見し、行動を連携させ、人間の攻撃者よりもはるかに速いペースでアクセス範囲を拡大していくエージェントに対応するには、セキュリティ対策とインシデント対応プロセスの側もそのスピードに追いつく必要があるでしょう。