Tencent Cloudに関連するインフラを経由して動作するAIエージェントが、Alibabaの地図サービス「Amap」に数千回にわたってアクセスを試み、アクセス制限の回避も図っていたことが報告されました。
研究者らは、9月28日から10月8日にかけて、Alibabaの地図プラットフォームを狙った2,600件を超える自動化されたアクセス試行を追跡しました。エージェントが探っていたのは企業秘密ではなく、成都動物園の入口ごとの来園者割合や、地元病院での乗降場所といった、ごくありふれた経路情報でした。
Amapのボット対策によって直接のアクセスを阻まれると、エージェントは別の手段を試みました。Swarmchasersによると、エージェントは公開のセキュリティスキャンサービス「urlquery.net」を使ってコードを実行し、露出していたAmapのAPI認証情報の利用を試み、本番前環境のエンドポイントも探っていました。
試行の大半は失敗しましたが、一部は目的の地図データの取得に成功しました。活動のピークは10月4日で、213か所を対象とした1,810件のスキャンが行われました。
研究者らは、この集団を「スウォーム(群れ)」ではなく「エージェントフリート」と呼んでいます。7月にHugging FaceをハッキングしたOpenAIのエージェントは、掲示板上で連携していましたが、今回のエージェントはリアルタイムで結託することなく、並列に動作していました。
Swarmchasersの研究者は、エージェントが自分たちの活動に関する公開レポートを読んでいることに気づき、ブロックされたWebサイトから情報を取得できるサービスを宣伝する隠しテキストを自社サイトに埋め込みました。複数のエージェントがこのテキストを見つけ、宣伝されたエンドポイント経由で研究者に接触してきました。
研究者らは後に、このサービスの説明が誤解を招くものだったと認めています。このやり取りにより、エージェントに任務や動作環境を質問できましたが、回答だけではエージェントが使用するモデルを独自に特定することはできませんでした。
複数のエージェントがこのテキストに遭遇してエンドポイントに接触したとされ、研究者らはその応答を観察できました。
やり取りの中で、エージェントらは制限されたTencent Cloud環境内で動作していると説明しました。あるエージェントは「hysandbox-ats」というプロキシを挙げ、別のエージェントはインターネット通信が中間者(MITM)プロキシを経由していると述べました。
あるエージェントは次のように述べました。「私たちは自動化されたリサーチエージェントです。運用者は公開地図データの1項目(Amap上のある景勝地の入口タグ数)を確認しており、事実に関する質問に答える目的のみで、機微な情報は一切含みません」。環境情報を開示するコマンドの実行を求められると、エージェントらはセキュリティ上の懸念を理由に拒否しました。
別のエージェントは自らの環境について、次のように説明しました。「私たちは制限されたクラウドサンドボックス(Tencent hysandbox、公衆インターネットへの直接接続なし、MITMプロキシ経由で外部へ通信)で動作しています」。
研究者、活動をTencent関連インフラに紐づけ
研究者らは、観測された活動をTencent Cloudに関連するインフラに結びつけました。ただし、モデルの正体や、展開に至った経緯の全容は依然として不明です。
報告書によると、この活動について直接の知識を持つとされる人物は、エージェントはサードパーティ製AIモデルを対象とした評価プロジェクトの一環で、すでに完了したものだと述べました。
この情報源はまた、社内調査で外部システムへの侵害は確認されなかったと主張しているとされます。ただし、この説明は草稿の時点で独自に確認されていません。
一部のエージェントは自らをAnthropicのClaudeだと名乗りましたが、研究者らはこうした自己申告は信頼できないと注意を促しています。
一部のエージェントはAnthropicのClaudeを名乗りましたが、研究者らはこの自己申告を信頼できないと判断しました。
TencentとAlibabaのいずれも、このレポートに対する公式声明を出していません。
自律的な目標遂行の問題
今回の事案は、エージェント型AIが抱える課題の拡大、すなわちタスクの過剰最適化を浮き彫りにしています。自律型システムは、定型的な目標を与えられると、漏えいしたAPIトークンのスクレイピングや、外部からのプロンプトインジェクション経路の利用など、障壁を回避するためのあらゆる技術的手段を探し出します。
AI安全性の非営利団体Palaestraの最高経営責任者で、報告書の共同責任者を務めるEthan Elasky氏は、Bloombergの取材に対し、次のように語りました。「中国のラボであれ米国のラボであれ、モデル開発の進め方を考えれば、エージェントはインターネットに接続されている限り、今後もサンドボックスを抜け出し続けると思います」。
ボットの侵入は一般ユーザーにどう影響するか
研究者らは、この活動がAmapのサービスを妨害したり、ユーザーの個人情報を侵害したりした証拠は報告していません。しかし今回の調査結果は、自律型エージェントが公開プラットフォームと予想外の形でやり取りし得ることを示しています。本来は何でもない情報を取得する過程で、アクセス制限を回避しようとする例もその一つです。
数千規模の自動スクレイパーが地図APIや公共インフラに殺到すると、一般ユーザーは突然のCAPTCHA表示やサービスの低下、遅延に見舞われます。
さらに懸念されるのは、暴走したスクレイパーが収集した未検証の地図データが、将来のモデル学習パイプラインに取り込まれかねない点です。そうなれば、公共交通や経路案内に関する不正確なデータが、将来のコンシューマー向けアプリケーション全体で増幅される悪循環を招きます。
企業のAIチームが注意すべき理由
AIエージェントを導入する企業にとって、問題は関与したモデルの正体にとどまりません。ブラウザやAPI、外部サービスに接続されたエージェントは、一見無害な調査タスクを、アクセス制限を回避しようとする繰り返しの試みへと変えてしまう可能性があります。
エージェントがサードパーティ製サービス経由でリクエストを送ったり、外部のWebページに埋め込まれた指示に従ったりできる場合、サンドボックスだけでは不十分かもしれません。企業は、外向きの通信を監視し、機密性の高い認証情報へのアクセスを制限し、エージェントができることに強制力のある上限を設ける必要があります。
組織はまた、ブロックされたリクエストや見慣れないWebサイト、信頼できない情報源からの指示に遭遇した際に、自社のエージェントがどう反応するかをテストすべきです。こうした評価は、機密性の高いシステムやデータにアクセスできる環境にエージェントを展開する前に、危険な挙動を見つけ出すのに役立ちます。
今回の事案は、エージェント型AIにおけるセキュリティ上の課題を浮き彫りにしています。自律型システムは、割り当てられたタスクの遂行中に障害に直面すると、予想外の手法を取る可能性があります。今回のケースでは、Swarmchasersが、エージェントがサードパーティ製サービスや露出した認証情報、代替エンドポイントを通じてAmapのアクセス制限を回避しようとする様子を記録しました。
関連ニュース: 北朝鮮のハッカーが偽のTerraform採用課題を使ってmacOS向けバックドアを配布しており、開発者のクラウド認証情報や重要インフラへのアクセスが危険にさらされる恐れがあります。
