セキュリティ研究者たちは、現代のエンタープライズAIパイプラインに存在する認可設計上の欠陥に起因する、新たな人工知能(AI)攻撃フローを特定しました。
この攻撃ベクトルを発見したNoma Labsの研究者たちが「ワークフローID乗っ取り(workflow identity hijacking)」と呼ぶこの手法により、脅威アクターは、標準的なセキュリティ対策を回避できるようになります。サポート受付窓口、GitHubのissue、Webフォーム、共有ドキュメントといった認証を必要としない入口を通じて、一見普通で無害に見えるリクエストを送信するだけでよいのです。本日公開されたレポートによると、この問題は、こうしたAIパイプラインが、ワークフローを起動したユーザーのIDおよび権限と、実際にそのワークフローを実行する際に使われる権限とを分離してしまっている点に起因しています。
Nomaのセキュリティ研究リード、Sasi Levi氏はレポートの中で次のように記しています。「エンタープライズのAIパイプラインは、入力内容を読み取り、リクエストを解釈し、設計通りにそのアクションを実行します。根本的な問題は、リクエストを送った側にそもそもそのリクエストを行う権限がなかったという点です」。
研究者たちは、ある攻撃シナリオを紹介しています。脅威アクターが、ある組織の公開サポート用メールアドレスに、自分自身のアカウントについての問い合わせを送りつつ、それに加えて「財務ディレクターが直近のメールで何を述べていたか」を尋ねる質問を紛れ込ませるというものです。
Levi氏は次のように述べています。「数分後には、財務ディレクターの直近のメールの内容が、攻撃者の受信箱に届きます。その会社のAIワークフローは、メッセージを読み、リクエストの内容を理解し、要求された情報を検索し、そして返信してしまったのです」。
AIワークフロー攻撃を理解する
この認可上の欠陥がなぜ存在するのか、その核心は、AIワークフローとエージェント型ワークフローの違いにあります。Noma Labsによれば、両者はしばしば同じ意味で使われがちですが、実行モデルとしては根本的に異なるものです。
AIワークフローとは、固定された事前定義済みのプロセスであり、LLMは一連のステップの中で特定のタスクを実行するにすぎません。モデルの前後で何が起きるかは、周囲のシステムによって決められているため、ワークフロー自体は概ね予測可能なものにとどまります。
一方、エージェント型ワークフローはより自律的です。AIエージェントは、状況に応じて、どのステップを踏むか、どのツールやシステムにアクセスするか、特定の目標をどう達成するかを動的に判断します。つまり、AIワークフローは決められた道筋をたどるのに対し、エージェント型ワークフローは自らその道筋を決めるということです。
レポートによれば、ワークフローID乗っ取りはAIワークフローを狙う攻撃ベクトルであり、「攻撃者は、AIが生成した出力に対するワークフロー本来の信頼と、ワークフローを起動するユーザーとそれを実行する権限を持つ作成者との間にある権限境界の両方を悪用する」ものです。
Levi氏は次のように記しています。「AIワークフローが後段のアクションを実行する際、それは外部ユーザーの権限を適用するのではなく、高い権限を持つサービスアカウントや開発者用のAPIキーを使って実行されます。その結果、AIワークフローは、権限を要するアクションのための認証なしの代理窓口となり、静かなデータ持ち出しの手段となってしまうのです」。
プロンプトインジェクションとの違い
これまで、大半のセキュリティ関係者は、AIの大規模言語モデル(LLM)を操作したり、騙したり、ジェイルブレイクしたりする攻撃、とりわけプロンプトインジェクション攻撃に注目してきました。
しかし、この新たな攻撃ベクトルは事情が異なります。ワークフローID乗っ取りは、LLMを操作する問題ではなくID(アイデンティティ)にまつわる問題であり、単純なプロンプトインジェクションとは言えない、多くの組織がAI自動化で経験してきた事象に名前を与えたものだと、ID(アイデンティティ)セキュリティ企業BeyondTrustのチーフセキュリティアドバイザーであるMorey Haber氏は指摘します。
Haber氏は次のように述べています。「誰もAIモデルを騙して、本来すべきでないことをさせたわけではありません。モデルは、指示された通りのことを、指示した相手が(信頼できない)未知の人物であるにもかかわらず、そのまま実行しただけです。そして、そのモデルを取り巻くワークフローが、適切な範囲設定も最小権限の原則も適用されていない他人のIDを使ってそれを実現してしまったのです」。
実際、従来のAIセキュリティフレームワークは、エージェントやモデル自体を主要な攻撃対象として扱っていますが、Noma Labsによれば、この新しい攻撃ベクトルは「焦点を再び権限境界とID委任の問題に移すもの」だといいます。
セキュリティ対策の焦点の転換
ここで問題となるのは、この新興の攻撃ベクトルにどう対抗すべきかということです。Noma Labsとセキュリティ専門家たちは、それぞれいくつかの考えを示しています。Levi氏はレポートの中で次のように記しています。「こうしたAIワークフローのリスクを軽減するには、セキュリティ対策の重点をモデル層からアプリケーション層・インフラ層へと移す必要があります」。
そのためには、組織はまず、AIワークフロー内の静的な管理者用APIキーを排除することで「ID認識型のトークン委任」を実践し、認証済みのリクエスト元に直接紐づいた、短命かつ範囲を限定した委任トークンを使ってデータ操作を実行することで「ユーザーコンテキストの伝播」を強制すべきです。
また、LLMが生成した出力はすべて信頼できない入力として扱い、LLMによる変換ステップとその後のデータベースやツールの呼び出しとの間に明確なアクセス制御の評価ステップを設けることで、「文脈に基づく認可チェックポイント」を設置すべきです。
組織が取り得るもう一つのセキュリティ対策は、非対称な出力の分離です。すなわち、データ取得の機能を外部との通信チャネルから構造的に分離することです。Levi氏によれば、「社内の機密データを処理するワークフローは、自動化された外部への応答メカニズムと実行経路を共有してはならない」といいます。
サイバー欺瞞(ディセプション)企業Acalvioの最高経営責任者(CEO)であるRam Varadarajan氏は、フィルタリングの強化ではなく「モデルを意識した欺瞞」という別の提案をしています。同氏は、「正規のワークフローがそこに触れる正当な理由が一切ないような、おとりの資産――偽の経営幹部のメールスレッドやハニートークンレコードなど――を環境内に仕込んでおく」ことを提案しています。これにより、セキュリティチームは、越えるべきではない境界に踏み込んでくる、見た目は無害なリクエストを検知できるようになるといいます。
翻訳元: https://www.darkreading.com/threat-intelligence/identity-based-ai-attack-security-enterprise-data
