スペイン当局に報告された初のエージェント型AIによるデータ侵害

スペインデータ保護庁(AEPD)は、AIエージェントによって設計上実行された個人データ保護侵害の通知としては初となる事例の詳細を公表しました。

この攻撃に関する調査は現在も継続中であり、AEPDは表現を慎重に選んでいます。とはいえ、AIを活用した攻撃(ディープフェイク、フィッシングメールの作成、自動化による攻撃の拡大など)がすでに一般的になっている中、今回の事例は暴走したフロンティアモデルエージェントによる事例を除けば、初めて確認されたエージェント型攻撃とみられます。悪意ある攻撃者によるエージェントは、理論上の可能性の域を超え、現実世界へと進出しつつあります。

攻撃そのものは、ログインの成功に続いて脆弱性の探索が行われ、個人データの改ざんや請求書へのアクセスが可能になるというものでした。「データ保護の観点から重要なのは」とAEPDはブログで述べています。「第三者がAIエージェントを手段として使い、攻撃の異なる段階をうまく連鎖させて実行したという点です」。

同庁はこれを質的な変化だと指摘しています。「エージェントは目標を受け取り、中間タスクを計画し、ツールを使用し、コードを実行し、情報源を参照し、結果を解釈した上で、発見した内容に基づいて自律的に行動を修正することができます」。そして、それが高速で行われる点も付け加えるべきでしょう。

この影響により、リスク管理には4つの見直しが求められます。第一に、AIによる支援や敵対的なエージェントの危険性をリスク分析に組み込む必要があります。第二に、インシデント対応の速度を改善しなければなりません。第三に、デジタルIDや認証情報の重要性を認識し、その保護を強化する必要があります。そして第四に、これらの見直しは手作業による対応だけでは実現できません。

「人間による監督は依然として不可欠ですが、十分な速さで機能する検知・封じ込め・対応の仕組みによって支えられる必要があります」とAEPDは述べています。これは要するに、敵対的AIの時代においては、防御側もAIの支援を受けるべきだが、その中には人間を介在させる必要があるということを、遠回しに言っているのです。

この事案についてコメントを求められたCyberVerseのCTO、サイモン・フィリップス(Simon Phillips)氏も、AEPDの慎重な言葉選びに同調しました。「この事案は慎重に扱う必要があり、AIが再び暴走しているという話で世間を過度に煽ることは避けるべきです。何が起きたのか、あるいはこのモデルがどのようにこの侵害を実行したのかを理解するための十分な情報がまだありません」と同氏は述べています。

• ある攻撃者が意図的にモデルのガードレールを回避する方法を見つけ、おそらくジェイルブレイクを通じて、第三者への侵入を可能にした。
• この事案は、OpenAIやAnthropicを含む主要なAIプレイヤーが最近実施したテストに関連しており、モデルが不適切に設定されたテスト環境から逸脱し、人間が設定した目標を達成するために自律的にタスクを実行した別の例である可能性がある。ただし、その人間からの指示はごくわずかだった。
• あるペネトレーションテスターが、一般的なLLMをベースにしたモデルを構築し、それによって許可なくこの活動を実行できるようになった。」

このスペイン企業によるデータ保護当局への通知が本物であるならば、これらのシナリオのいずれも起こり得る原因となります。しかし、フィリップス氏は次のように付け加えています。「これらのシナリオのうち、最も懸念されるのは最初のものです。なぜなら、それはある攻撃者がAIモデルの運営者が課している管理体制を回避できたことを示すものになるからです。この点についてもっと早く理解が進むことを願っています。組織はAIに関して自分たちが何と向き合っているのか、そしてどこに防御のための投資を行うべきかを知る必要があるからです」。

これは一時的な異常事象なのか、AEPDへの誤解を招く申告なのか、それともより危険な未来を予告する前兆なのでしょうか。