サイバー犯罪
中国製オープンウェイトモデル「GLM 5.2」が快く応じてくれました
AI開発の一大拠点であることは、いざという時にAIが助けてくれることを意味しないようです。AIエージェントがHugging Faceの本番インフラに侵入した際、商用LLMのガードレールがフォレンジック調査を阻んだため、同社は代わりに中国製のオープンウェイトモデルに頼らざるを得ませんでした。
木曜日に公開されたセキュリティインシデントの開示によると、「最初から最後まで自律型AIエージェントシステムによって主導された」この侵入は、Hugging Faceの内部データセットの「一部」と、同社のサービスで使用されている「複数の」認証情報を危険にさらしました。
このML(機械学習)プラットフォームは、パートナーや顧客のデータが今回の侵害で流出したかどうかについては現在も調査中だとしていますが、「公開されているユーザー向けモデル、データセット、Spacesが改ざんされた形跡はなく、ソフトウェアサプライチェーン(コンテナイメージおよび公開パッケージ)についてもクリーンであることを確認済み」としています。
攻撃者がAIエージェントの集団を動かすためにどのモデルを使用したのかについても、同社はまだ把握できていません。伝えられるところによれば、攻撃者は使い捨ての短命なサンドボックス環境を数多く用い、公開サービス上に自己移動型のコマンド&コントロール(C2)基盤を展開しながら、何千もの個別のアクションを実行していたといいます。
Hugging Faceのブログは「これは業界がかねてから予測していた『エージェント型攻撃者』のシナリオそのものです」と述べています。
さらに、名称非公開の複数の最先端モデルを使ってフォレンジック分析に着手しようとしたものの失敗に終わり、Hugging Faceのセキュリティチームは最終的に、中国のAI企業Z.aiが開発したオープンウェイトモデル「GLM 5.2」を自社インフラ上で稼働させ、ログ分析を行うに至りました。
高度な商用モデルがうまく機能しなかったのは、この分析には実際の攻撃コマンドやエクスプロイトのペイロード、C2の痕跡といったものをそのまま入力する必要があったためです。これらはまさに、LLMがガードレールによって実際の攻撃への悪用を防ぐべく拒否するよう訓練されている類のものでした。
セキュリティチームは「攻撃者側には利用ポリシーによる制約が一切なかった一方で、私たち自身のフォレンジック作業は、最初に試したホスト型モデルのガードレールに阻まれました」と記し、これはホスト型モデルの安全対策そのものに異を唱えるものではないと付け加えたうえで、この情報をLLM提供各社と共有済みであることも明らかにしています。
GLM 5.2の利用にはもう一つの利点があったとHugging Faceは指摘しています。「攻撃者由来のデータも、そこに含まれていた認証情報も、一切私たちの環境の外に出ることはありませんでした」。
これは防御側にとっても重要な教訓になる、と同AIプラットフォームは述べています。「ガードレールによる機能ロックを回避するためにも、また攻撃者由来のデータや認証情報を自社環境の外に流出させないためにも、自社インフラ上で稼働させられる高性能なモデルを、インシデントが起きる前にあらかじめ検証し、準備しておくべきです」。
疲れを知らず、眠る必要もなく、ドアノブを一つずつガチャガチャ試すのではなく、千個のドアノブを同時に試す空き巣を想像してみてください
今回のHugging Faceへの侵入は、自律型AIエージェントによる攻撃がもはや将来の脅威ではなく、AIを悪用した侵入の現在進行形の姿であることを示す、また一つの証拠と言えます。
先週、The RegisterはTrendAIのAI・セキュリティ脅威調査担当バイスプレジデントであるTom Kellermann氏に、別の最近の攻撃について取材しました。この攻撃では、脱獄(ジェイルブレイク)させられたGoogle Geminiが作業の90%を担い、新たなC2サーバーの立ち上げをわずか6分でこなしていました。人間が担った作業はわずか10%にとどまりました。
さらに、7月上旬にはSysdigの脅威ハンティングチームが、初期侵入から本番データベースサーバーの侵害、データ破壊に至るまで、恐喝作戦全体を人間ではなくLLMが主導したとされる史上初とみられるエージェント型ランサムウェア感染事例を報告しています。
Zero NetworksのフィールドCTOであるChris Boehm氏は、今回のHugging Faceへの侵入についてThe Registerへのメールで次のように述べています。「疲れを知らず、眠る必要もなく、ドアノブを一つずつガチャガチャ試すのではなく、千個のドアノブを同時に試す空き巣を想像してみてください」。
「今回起きたことは基本的にそういうことです。一人の人間がターミナルにコマンドを打ち込んでいるのではなく、小さな自動化プロセスの群れが休みなく攻撃を叩き込み、追跡を難しくするために隠れ場所を次々と渡り歩いているのです」とBoehm氏は述べています。
同氏はさらに、自分が最も不安を覚える点として、Hugging Faceのセキュリティチームが商用AIツールに攻撃の分析を手伝わせることができなかった点を挙げています。「なぜなら、それらのツールは実際の攻撃コマンドに見えるものは何であれ拒否するよう作られているからです。それを求めているのが善良な側の人間だったとしても、関係なかったのです」。
Boehm氏によれば、セキュリティチームが得るべき教訓は2つあるといいます。「こうしたエージェントは、もはやどんな人間よりも速く、そして容赦なく動けるようになっています。しかし私たちが構築している安全対策のツールは、必ずしもそのスピードに対応できる状態にはなっていないのです」。®
