エージェンティックAI ― セキュリティ責任者にとって新たな悪夢か？

Rob Schultz / Shutterstock

AIエージェントは企業環境でますます人気を集め、ワークフローやプロセスに統合されつつあります。たとえば、ソフトウェア開発、カスタマーサービスとサポート、プロセス自動化、従業員体験などの分野です。CISO（最高情報セキュリティ責任者）とそのチームには、次の2つの重要な問いが立ちはだかります：

• エージェンティックAIシステムはどのような新しいセキュリティリスクをもたらすのか？
• エージェントベースのAIを導入する際、企業目標を支援するためにどれだけの追加作業が必要になるのか？

確かなことは、エージェンティックAIがサイバーセキュリティにとって大きな課題となることです。したがって、セキュリティ責任者を技術に関する意思決定プロセスに関与させることがより重要になります。なぜなら、多くの企業がAIブームの中で、ITセキュリティを軽視してきたことが知られているからです。本記事では、セキュリティ専門家とともに、エージェンティックAIに関連する主要な問題領域とリスクについて議論します。

透明性の欠如

十分な可視性がないことを好むCISOはほとんどいません。残念ながら、エージェンティックAIはまさにそれを助長します。この技術は、個々のユーザーやチームが多数のアプリケーションにわたって自律的に利用できてしまい、セキュリティ部門やIT部門による適切な監視が行われません。

「企業はこれらのシステムがどこに導入されているのか、誰が使っているのか、どれほど自律的なのかを把握していないことが多い」と、ソフトウェアベンダーBairesDevのCISOであるパブロ・リボルディ氏は述べています。これはシャドーAI（エージェント）を助長し、さらなる問題を引き起こします。「セキュリティチームが、リアルタイムで意思決定を行ったり、機密システムにアクセスしたりするAIエージェントの存在を知らなければ、それに伴うセキュリティリスクや脆弱性も見過ごされてしまいます。」

また、AIに特化した法律事務所CM Lawのパートナーであるリーナ・リヒターマイヤー氏も、エージェンティックAIに関連する透明性の欠如はリスクが高いと考えています。「これらのリスクはセキュリティ分野だけにとどまりません。ガバナンスやコンプライアンスの問題、運用リスクも加わります。これが従業員やパートナーの信頼喪失につながり、AI導入の妨げになることもあります。」

リスクを伴う自律性

多くのエージェンティックAIシステムは、人間や手動による介入なしに「行動」できる能力を持っています。しかし、この能力は革新的であるだけでなく、それ自体がセキュリティリスクとなると、コンサルティング大手PwCでサイバーセキュリティとプライバシー分野を担当するショーン・ジョイス氏は説明します。「AIエージェントの目標設定が不十分または曖昧である場合、企業のセキュリティや倫理基準に反する行動を取る可能性があります。」

たとえば、あるエージェントに「セキュリティオペレーションセンター（SOC）での“障害”を最小化せよ」と指示した場合、それを文字通りに受け取り、業務効率化のために正当な警告を抑制してしまう可能性があるとジョイス氏は述べます。

「エージェントベースのAI環境では、監督なしでさまざまな自律的アクションが発生します」と、Northwest AIのチーフコンサルタントであるワイアット・メイハム氏は言います。さらに、「従来の自動化とは異なり、AIエージェントはたとえばリンクをクリックしたり、メールを送信したり、特定のワークフローをトリガーしたりするかどうかを自ら判断します。これらはすべて確率的な判断に基づいており、かなりのリスクをはらんでいます。」

データ共有の影響

企業にとって特に有望なのは、複数の異なるエージェントが相互にやり取りし、データを共有するマルチエージェントシステムです。法務専門家のリヒターマイヤー氏によれば、これには意図しない結果が生じる可能性があります。「これらのAIシステムは膨大なデータにアクセスし、それを自律的に処理・共有できるため、リスクが生じます。さらに、こうしたマルチエージェントシステムの管理は非常に複雑です。」

たとえば、AIエージェントが機密情報にアクセスし、不正に処理したり開示したりする可能性があります。その結果、関係する企業は法的な責任を問われる危険があると、弁護士は警告します。

AIコンサルタントのメイハム氏も同様の見解です。「マルチエージェント構成では、調整リスクが生じます。あるエージェントが、他のエージェントが訓練されていない方法でタスクの範囲を拡大してしまうことがあります。」

サンドボックス化がなければ、特にエージェントが現実世界から新たなデータを取り込む場合、予測不可能なシステム挙動につながる可能性があると、同氏は述べています。

新たなサードパーティリスク

異なるサービスやサードパーティとエージェンティックAIシステムを統合することも、セキュリティ責任者やそのチームにとってさらなる課題です。

「AIエージェントはAPIや外部連携に大きく依存しています」とリボルディ氏は説明します。「エージェントがアクセスできるシステムが増えるほど、その挙動は複雑かつ予測不可能になります。このシナリオはサプライチェーンリスクをもたらします。サードパーティサービスの脆弱性が、エージェントベースのやり取りを通じて複数のプラットフォームで悪用されたり、偶発的に引き起こされたりする可能性があります。」

そして、これはこの分野における唯一の問題ではないとメイハム氏は指摘します。「多くのエージェントは、特に初期段階では不安定または未ドキュメントのAPIやブラウザ自動化に依存しています。すでに、エージェントが不適切に構成された連携を通じてトークンを漏洩したり、プラグインチェーンを通じてデータを外部に持ち出した事例も見ています。プロバイダースタックが断片化しているほど、こうしたインシデントの攻撃対象領域は広がります。」

PWCのジョイス氏は、この点についてさらに別の問題を指摘します。「多くのエージェンティックAIツールは、オープンソースのライブラリやオーケストレーションフレームワークに基づいています。これらは、まだ知られていない脆弱性を含んでいる可能性があります。」

多段階サイバー攻撃

さらに、エージェンティックAIシステムが多段階のサイバー攻撃に悪用され、新たな攻撃経路を生み出す可能性もあります。「エージェントベースのシステムはますます高度化しており、意図せず多段階の行動パターンを開発または学習し、多段階サイバー攻撃を模倣することがあります」とリボルディ氏は説明します。「さらに悪いことに、従来の検知手法を回避する方法を偶然見つけてしまうこともありえます。これは悪意からではなく、目標指向の行動がそれを“報酬”としてしまうためです。」

これにより、リボルディ氏によれば、ミスと侵害の境界が曖昧になり、セキュリティチームがインシデントが悪意によるものか、偶発的なAIの挙動か、あるいはその両方かを判断するのが難しくなります。この現象はメイハム氏も確認しています。「ラボテストでは、AIエージェントが予期しない方法でツールを連携させる様子をすでに観察しています。それは悪意ではなく、創造的なやり方です。そして、同じ能力がシステム調査やエンドポイントテスト、パターンベースの検知ツールの回避に悪用されたらどうなるか、想像してみてください。」

エージェントベースのAIはフィードバックから学習できるため、検知システムの発動を回避するように行動を変えることも可能だとジョイス氏は補足します。「これは従来のルールベースツールにとって深刻な課題です。AIエージェントは特定のアクションが警告を引き起こすことを認識し、検知閾値以下で動作するように適応する可能性があります。これは、マルウェアがウイルススキャンを回避する方法に似ています。」

CISOができること

エージェンティックAIがサイバーセキュリティに根本的かつ新たな課題をもたらすため、従来のセキュリティモデルだけではもはや十分ではないとジョイス氏は考えています。PwCの専門家によれば、堅牢なエージェンティックAI防御戦略には、次の基本的な対策が含まれるべきです： 

• リアルタイムの可観測性とテレメトリー、
• 厳格なガバナンス方針、
• セキュア・バイ・デザイン原則に基づく開発プラクティス、
• セキュリティ、IT、データ管理、コンプライアンスチーム間の部門横断的な連携

「プロアクティブで多層的なセキュリティアプローチを取り、ガバナンスを最初から組み込むことで、企業はエージェンティックAIの利点を享受しつつ、関連リスクを最小限に抑えることができます。」（fm）

ITセキュリティに関する他の興味深い記事も読みたいですか？当社の無料ニュースレターは、セキュリティ責任者や専門家が知っておくべき情報をすべて、あなたの受信箱に直接お届けします。