「Workflow Identity Hijacking(ワークフローID乗っ取り)」と名付けられた新たなAIセキュリティ上の脅威が明らかになりました。この手口を使えば、攻撃者はサポート窓口の受信箱やウェブフォーム、GitHubのIssue、共有ドキュメントといった一般公開されているチャネルを通じて普通のリクエストを送信するだけで、企業の機密データを引き出せてしまいます。
プロンプトインジェクション攻撃とは異なり、この手法では攻撃者が大規模言語モデル(LLM)の指示を操作したり、ジェイルブレイクしたり、上書きしたりする必要はありません。
その代わりに悪用されるのは、AIワークフローに影響を与える信頼できない人物と、そのワークフローが後続処理の実行に使用する特権IDとの間にある、認可の境界の欠陥です。
Noma Labsのセキュリティ研究者は、ある企業の公開サポートアドレス宛てに、財務担当ディレクターの最新メールに含まれる四半期売上高を尋ねる、一見無害なメールを攻撃者が送りつけるというシナリオを説明しています。
AIワークフローはこのリクエストを受け取ると、設定された権限を使って社内メールボックスを検索し、その回答を外部へ送り返します。ワークフロー自体は設計どおりに正しく動作しています。問題は、この外部からのリクエスト元がそもそもその情報にアクセスする権限を一切与えられていなかったという点にあります。
AIワークフローは一般的に、固定された自動化シーケンスと1つ以上のLLM処理ステージを組み合わせて構成されます。典型的なフローでは、メールを受信し、その内容をLLMに渡して意図を抽出させ、連携先のアプリケーションに問い合わせを行い、返信を送信します。
こうした後続タスクは、多くの場合ワークフローの作成者や管理者が持つ、恒久的なAPIキーやサービスアカウント、OAuthトークンを通じて実行されます。
ワークフローが元のリクエスト送信者のIDを引き継いで強制的に適用する仕組みを備えていなければ、外部の攻撃者は事実上、自分自身が持っていない権限を自動化処理に行使させることが可能になってしまいます。
これにより、認証を経ていない者でも特権データにアクセスできる、いわば「無認証プロキシ」が生まれてしまいます。この点が重要なのは、誰がリクエストを行ったかによって、まったく同じ内容のリクエストが正当なものにも悪意あるものにもなり得るからです。
CFO(最高財務責任者)が社内の売上情報を求める場合には、正当な業務上の必要性と適切な権限があるはずです。しかし、公開の受信箱を通じて見知らぬ送信者が同一のリクエストを送ってきた場合には、そのいずれも当てはまりません。
従来型のAIセキュリティ対策では、検知すべき不審な文言そのものが存在しないため、このシナリオを見逃してしまう可能性があります。
プロンプトインジェクションフィルターやモデルガードレール、ジェイルブレイク対策は、一般的にコンテンツがモデルの挙動を変えようとしていないかどうかを評価する仕組みです。しかしWorkflow Identity Hijackingでは、モデルはシステム指示にも、あらかじめ定義されたワークフローの経路にも、正しく従って動作しています。
Noma Labsはこの問題を、エージェント型AIに対する攻撃とは区別して説明しています。エージェント型ワークフローはどのツールを呼び出しどのアクションを取るかを動的に判断するのに対し、従来型のAIワークフローはあらかじめ定義された手順の中でLLMが処理ステップの一つを担うにとどまります。
セキュリティチームは、幅広いツールアクセス権限と動的な意思決定能力を持つ自律型エージェントに注意を集中させがちです。しかし、信頼できないコンテンツが高い権限を持つ認証情報で動作するワークフローに影響を及ぼす場合、静的な自動化処理も同じくらい重大なリスクを生み出しかねません。
ワークフローに影響を与えうる、最も信頼度の低い当事者が誰であるかは、名目上のワークフロー所有者が誰であるか以上に重要な問題です。その当事者とは、外部からのメール送信者かもしれませんし、一般公開されたIssueを起票するユーザー、サポートフォームを送信する顧客、あるいは共有ドキュメントを編集する個人かもしれません。
Workflow Identity Hijackingは、AIセキュリティの焦点をモデルの操作という問題から、より馴染み深い企業のセキュリティ課題へとシフトさせます。すなわち、自動化処理が、それを構築した人々が持つ権限を攻撃者に決して与えないようにすることです。
16,000以上の組織から得られる最新のインテリジェンスで、脅威検知率を58%向上させましょう。TIフィードを統合することで、貴社のSOCを強化できます
翻訳元: https://cyberpress.org/ai-workflow-identity-hijacking-lets-attackers-steal-sensitive-data/
