エージェンティックAIを利用するすべての人が「有害フロー」を理解する必要がある

出典：sdecoret（Adobe Stock Photo経由）

今日のビジネスエリートはエージェンティックAIの可能性に息を呑んでおり、CEOたちはAIを効率化の命綱と捉えています。機能的な失敗のリスクはさておき—そしてそれは確かに大きな問題ですが—、セキュリティ研究者たちは、これらすべてのエージェンティックな導入がリスク登録簿に追加する新たなサイバー・レジリエンスリスクについて懸念しています。

有害フローは、研究者たちが経営者、エンジニア、セキュリティ担当者すべてが注目すべきだと指摘する、エージェンティックAIリスクの新たな分類の一つです。AIエージェント、ITツール、エンタープライズソフトウェア間のフローは、信頼できない入力への曝露、過剰な権限、機密データへのアクセス、そして攻撃者がデータを盗むために利用できる外部接続という、リスクの高い組み合わせに悩まされています。

これらの有害フローは、多くの人がより良いエージェンティックAIリスク管理への道と信じるものの中心となり得ます。業界がそれらに対するコントロールを実装できればの話ですが。

エージェンティックAIリスクが異なる理由

多くの点で、AIシステムは他のソフトウェアと似ています：コードの欠陥、設定ミス、認証の破損に対して脆弱です。Invariant Labsの共同創業者であるルカ・ボイラー＝ケルナー氏は、エージェンティックAIは現代のソフトウェアスタックがもたらす脅威のタペストリーに新たなひねりを加えると述べています。エージェンティックな振る舞いの非決定的な性質は、リスクのある行動を事前に予測することを非常に困難にします。

「エージェンティックAIシステムの前提は、開発者が予期しなくても、システムが自律的に何かをしてくれることです。それは素晴らしい特性であり、有望ですが、どのようなリスクにさらされるかを事前に予測するのは難しいのです」とボイラー＝ケルナー氏は言います。「これは従来のソフトウェアとは異なります。従来のソフトウェアは、通常、事前に十分に知られたコードやアルゴリズム、プロセスだからです。」 

彼は、最近Invariantを買収したSnykによる有害フローに関する意識向上の研究活動を率いてきました。

本質的に予測不可能な行動を持つAIエージェントが、顧客データベースや財務システム、開発プラットフォームなど、企業内の最も機密性の高いシステムに接続されると、大きな問題が発生し始めます。これがモデルコンテキストプロトコル（MCP）サーバーの役割であり、開発者がデータソースと生成AI搭載ツールを同期させるためのコネクタです。これらはAIアプリの「USB-Cポート」と呼ばれており、アプリケーションがデータソースや他のツールとシームレスに通信できるようにします。

誤解しないでください。MCPは、開発者がエージェンティックAIによって会計業務を効率化せよというCEOの指示に従う中で、多くの機密システムをAIエージェントに接続する必要があります。これは最も価値のあるユースケースを実現するために必要なことですが、同時にプロンプトインジェクション、幻覚、その他LLMの悪用可能な欠陥のリスクを大幅に高めます。

「ミスが起きたとき、幻覚が起きたとき、攻撃者が現れたとき、その結果ははるかに深刻です」とボイラー＝ケルナー氏は言います。「もはやチャットウィンドウの中で起きるただの面白い幻覚ではありません。例えば銀行取引でゼロが一つ多くなるかもしれません。こうしたミスは絶対に起こしたくないのです。」

しかしビジネスの要請を考えると、セキュリティ専門家はエージェンティックAIが機密システムに接続するのを拒否することはできません—しかし、リスクをコントロールするために接続の構造化を支援することはできます。

致命的な三位一体とAIキルチェーン

最もリスキーなエージェンティックAIの導入のいくつかは、システムが組み合わさって、ソフトウェア工学の第一人者サイモン・ウィリソン氏が最近「AIエージェントにとっての致命的な三位一体」と呼んだものを引き起こす場合に発生します。

これは、AIエージェントが、プライベートデータへのアクセス、信頼できないコンテンツへの曝露、外部との通信能力を組み合わせて設計され、その結果データを盗むために利用され得る場合です。

「もしあなたのエージェントがこの3つの特徴を兼ね備えていれば、攻撃者は簡単にあなたのプライベートデータにアクセスし、それを攻撃者に送信させることができます」とウィリソン氏は自身のブログに書いています。

残念ながら、今日の多くのAIエージェントはこの致命的な三位一体に陥りやすいのが現状です。有害フロー分析に関する最近の研究で、ボイラー＝ケルナー氏とInvariant Labsのチームは、この三位一体が有害フローの温床であることを指摘しました。彼らは最近のGitHub MCP脆弱性をその典型例として示し、攻撃者が信頼できない情報を使って完全に信頼されたツールを攻撃し、データを流出させることができることを実証しました。 

これは孤立した研究ではありません。セキュリティ研究者のヨハン・レーバーガー氏は、「AIバグの月間」という脆弱性公開キャンペーンを8月に行い、人気のAIツールやエージェントのどれもが多数の問題から免れていないことを示しました。レーバーガー氏は、ほぼすべての主要プラットフォームにわたって数十件の重大な脆弱性を公開し、その多くは致命的な三位一体によって可能になったものでした。その月の間に、彼自身が「AIキルチェーン」と呼ぶ、エージェンティックAIの致命的な三大問題も提唱しました。

彼が発見した脆弱性のいくつかは、プロンプトインジェクション、混乱した代理問題、自動ツール呼び出しという3段階のプロセスで悪用可能でした。

AIキルチェーンと致命的な三位一体の関係は、多くのエージェンティックAIの悪用が、エージェンティックなプロンプトと機密データとの接続を織りなす構造を分解する能力に依存していることを示しています。

「AIエージェントにプライベートデータへのアクセスを与えること自体がリスクなのではありません。それを何と組み合わせるかが問題なのです」とまとめたのは、KPMGのエージェンティックAIエージェントエンジニアリングリーダー、ジャスティン・オコナー氏です。

有害フロー分析が議論に登場

セキュリティのベテランにとって、有害な組み合わせは新しい概念ではありません。これはアイデンティティ管理における長年の課題であり、例えば財務担当者が新しい取引先を作成し、同時に支払いを承認したり、IT管理者がユーザーアクセスを管理しつつシステムログを削除したりするなど、問題のあるアクセスの組み合わせを防ぐためのコントロールが開発されてきました。

エージェンティックAIにおける有害フローも、しばしば権限の弱点と結びついていますが、危険な組み合わせをこれまでにないリスクと複雑さの高みに引き上げます。

SnykのInvariant Labsのボイラー＝ケルナー氏は、彼のチームが開発したフレームワークを通じて、組織がこれらの問題を表面化させる手助けができることを期待しています。このフレームワークは、AI搭載アプリを潜在的な有害フローの観点から分析するために設計されています。有害フロー分析は、現在SnykのオープンソースMCPスキャンツールを通じて提供されています。

この分析は、エージェントシステム内のデータやツールの使用フローをモデル化し、有害な組み合わせを探します。これは、エージェントシステムの安全な実装だけを見ているプロンプトセキュリティソリューションとは異なります。有害フロー分析の狙いは、エージェントシステムのフローグラフを作成し、ツール使用のあらゆる可能なシーケンスを、信頼レベルやシステム・データの機密性、そのツールが情報流出の出口として使われ得るかどうかなどの特性とともにモデル化することです。

「『有害フロー分析』のキーワードは実は『フロー』なんです」とSnykのCTO、ダニー・アラン氏は言います。「フローを理解しなければ、定義上、認可などを正しく行うことはできません。なぜなら、セキュリティの問題は、これら異なるコンポーネントの境界で発生するからです。それぞれのコンポーネントにはセキュリティが組み込まれているかもしれませんが、コンポーネント間ではそうではないからです。」