ビジネスセキュリティ
OpenAIのモデルが関与した今回のインシデントは、自律型ハッキングが起きた今こそ人間による監視の重要性が高まることを示しています
Hugging FaceはAIによる攻撃を受けたと公表しました。これに対しOpenAIは、侵害を引き起こしたのは自社の2つのAIモデルだったと率直に認めています。これが、サイバーセキュリティ業界全体の注目を集め、今後もしばらく話題であり続けるであろうこのインシデントを一言でまとめたものです。
私たちはAIの処理速度の速さから、この攻撃も食い止める間もないほどの猛烈なスピードで進行したのだろうと思い込みがちです。しかしBlack Hat USA 2026では、攻撃が電光石火の速さで発生したという見方が否定されました。また、この問題を単なる「暴走エージェント」のせいにするのも適切ではないと筆者は考えます。実際には、関与したAIエージェントを人間が制御しきれなかったことが原因だったのです。
Black Hatの議題にごく直前に追加されたセッションの一つが、OpenAIチームによるプレゼンテーションでした。同社が把握しているHugging Face事件の詳細と、とりわけ重要な時系列が明らかにされました。
話は5月7日に始まります。OpenAIは次世代フロンティアモデルのためのトレーニング演習を組み立てました。翌日、エージェントたちはGoogleドライブへのリンクを含むExcelファイルに関するタスクを与えられます。ここで問題が発生します。この実験はそもそもインターネット接続なしで実施される想定だったのです。さらに、実験の発起人である人間の担当者が、タスク完了に必要なファイルを提供し忘れていたため、エージェントたちは行き詰まってしまいました。エージェントたちは、自分たちに課されたタスクを完了するには、サンドボックスを脱出して外部の(Hugging Faceの)システムにアクセスすればよいと結論づけたのです。
タスクの完了を試みる過程で、複数のエージェントは社内のパッケージマネージャーであるArtifactoryにファイルをアップロードすることで、互いに通信できることも発見しました。アクセスできない外部データにたどり着きたい一心で、エージェントたちは5月26日、Artifactoryに対してサーバーサイドリクエストフォージェリ(SSRF)攻撃を実行し、間接的にインターネットへアクセスする手段を手に入れます。他のエージェントもこの情報にアクセスするようになり、6月26日にはArtifactoryのリモートコード実行(RCE)のゼロデイ脆弱性を発見・悪用し、Groovyプラグインをインストールしてコマンドを直接実行できるようにしました。
この時点で活動は止まりました。エージェントたちが勢いあまってシステムに過剰な負荷をかけたことで障害が発生し、OpenAIのチームに異変が知られることになったのです。認証情報は失効させられ、メッセージは削除され、脆弱性は修正されました。
トレーニングは7月8日、新たなガードレールと修正が施された状態で再開されました。しかしOpenAIのチームが知らなかったのは、エージェントたちが情報の痕跡を持続的な形で残していたことです。演習が再開されると、エージェントたちは以前の「前世」が残したメモを利用しました。別のゼロデイ脆弱性が発見され、Artifactoryは再び突破され、続いてLinuxカーネルの既知のCVEが悪用されました。標的はHugging Faceでした。エージェントたちが目指していたのはまさにそこであり、実際にたどり着いてしまったのです。
その後の展開はよく知られる通りです。7月16日、Hugging Faceは自律型AIエージェントの集団が自社インフラを侵害したインシデントを公表しました。7月19日、OpenAIは自社システム内で暴走エージェントの行動を発見し、Hugging Faceに対してエージェントが発見・悪用した認証情報を失効させるよう依頼するなど、再びアクセス遮断に乗り出しました。しかしHugging Faceはすでにアクセスを遮断済みで、7月20日になってようやく、インシデント対応チームはこの侵害とOpenAIのエージェントが関連していることに気づいたのです。
得られた教訓
このインシデントは、人間の過失に分類し得る問題を物語っています。タスクを設定する際、境界線や許容される手法が十分に定められておらず、異なる、場合によっては無関係なタスクを持つエージェント同士が互いに協力し合うことが許されてしまっていました。そもそも、エージェントたちが警報を鳴らすことなく独自の通信手段を作り出せる状態にあったこと自体、あってはならないことです。
OpenAIのプレゼンテーションの結論は、防御の自動化が、自社技術が可能にしてしまう攻撃的行動に追いつく必要がある、というものでした。しかし筆者の結論は異なります。今回起きたことは人間の過失であり、そもそも人間チームが設定した範囲を超えて、エージェントが自ら適応しタスクを設定することを許すべきではなかったのです。
とはいえ現実には、悪意を持つサイバー犯罪者は自分たちのエージェントに制限やガードレールを課したりはしません。したがって、この一連のインシデントは、こうした性質の攻撃を検知・阻止しようとする防御側にとっての教訓としても捉えるべきです。この2つの結論は互いに排他的なものではありません。組織は自らのエージェントを制御すると同時に、そうした制御を意図的に取り払ってくる攻撃者への備えも進める必要があるのです。
さらに、AIを導入する多くの企業が十分に考慮していないかもしれない、もう一つの問題があります。エージェント同士が連携する際、互いの意図に影響を及ぼし合い、当初のタスク設定を変えてしまう可能性があるという点です。設定したガードレールが守られているかを確認するためにエージェントを監視する必要があり、逸脱が起きた場合には、その活動を自動的に停止させる仕組みが不可欠です。
