エージェンティックAI：CISOにとっての新たなセキュリティ悪夢？

企業は今後、ソフトウェア開発、カスタマーサポートの自動化、ロボティック・プロセス・オートメーション（RPA）、従業員サポートなど、ますます多くのワークフローやプロセスでエージェンティックAIを活用することになるでしょう。CISOとそのスタッフにとっての重要な問いは、エージェンティックAIのサイバーセキュリティリスクとは何か、そして自社のエージェンティックAI活用を支えるためにどれだけの追加作業が必要になるのか、ということです。

2024年のレポートで、脅威アクターが2025年にAIをどのように活用するかについて言及したCisco Talosは、継続的な人間の指示なしに自律的に目標を達成できるAIシステムやモデルが、エージェンティックシステムやその侵害の可能性に対応する準備や装備が整っていない組織を危険にさらす可能性があると述べています。

「エージェンティックシステムがさまざまなサービスやベンダーとますます統合されるにつれ、悪用や脆弱性の機会が増大します」とレポートは述べています。「エージェンティックシステムは、多段階攻撃を実行したり、制限されたデータシステムにアクセスするための創造的な方法を見つけたり、一見無害な行動を有害な連鎖に変えたり、ネットワークやシステム防御者による検知を回避する方法を学んだりする可能性もあります。」

エージェンティックAIがサイバーセキュリティチームにとって大きな課題となり、CISOが自社でこの技術を導入する際には議論に加わる必要があることは明らかです。特に、多くの企業がシステム強化について十分に考慮せずにAIのあらゆる側面に飛びついている現状を踏まえると、なおさらです。システム強化を考慮せずにAIを導入している企業も多いのです。

企業がエージェンティックAIを活用して効率性、意思決定、自動化を強化しようとする中で、「新しい種類のサイバーリスクにも直面しなければなりません」とコンサルティング会社PwCのグローバルサイバーセキュリティ・プライバシーリーダーであるショーン・ジョイス氏は言います。「従来のAIモデルが直接的なプロンプトに応答するのに対し、エージェンティックAIシステムは高レベルの目標に向かって自律的に行動し、意思決定を行い、他のシステムと相互作用し、時間とともに行動を適応させることができます。」

CISOにとって、「これら新たなリスクを理解し、軽減することは、安全で責任あるAI導入を促進する上で極めて重要です」とジョイス氏は述べています。

ここでは、主な課題とリスクについて説明します。

可視性の欠如とシャドウAIの台頭

CISOは暗中模索での運用を好みませんが、これがエージェンティックAIがもたらすリスクの一つです。エージェンティックAIは、セキュリティ部門やIT部門の適切な監督なしに、チームや個人ユーザーがさまざまなアプリケーションを通じて自律的に導入できてしまいます。

これにより、「シャドウAIエージェント」が生まれ、認証などのコントロールなしで動作することが可能となり、その行動や振る舞いを追跡するのが困難になります。その結果、見えないエージェントが脆弱性を持ち込むことで、重大なセキュリティリスクが生じる可能性があります。

「可視性の欠如は、セキュリティリスク、ガバナンス／コンプライアンス問題、運用リスク、透明性の欠如など、組織にさまざまなリスクをもたらします。これにより、従業員やベンダーなどからの信頼を失い、AI導入の妨げになる可能性があります」と、AI開発者や大企業、政府機関のAI導入を支援するCM Lawのパートナー、リーナ・リヒターマイヤー氏は述べています。

「本当に最大の問題は可視性の欠如です」と、コンサルティング会社Northwest AIのリードAIコンサルタント、ワイアット・メイハム氏は言います。エージェンティックAIは、個人がChatGPTや他のツールを使ってタスクを自動化し始めるエッジから始まることが多いといいます。

「そして、これらのエージェントはIT部門によって承認もレビューもされていないため、ログもバージョン管理もガバナンスもされていません」とメイハム氏は述べます。CISOはシャドウSaaSには慣れていますが、今やシャドウAIの振る舞いにも対処する必要があるのです。

「組織は、これらのシステムがどこに導入されているのか、誰が使っているのか、その自律性の範囲などについて認識がないことが多い」と、ニアショアソフトウェア開発会社BairesDevのCISO、パブロ・リボルディ氏は述べています。「その結果、セキュリティチームが、リアルタイムで意思決定をしたり、集中管理なしに機密システムへアクセスしているエージェントの存在に気付かないという重大なシャドウIT問題が発生します。」

フリーエージェント：自律性がリスクを増大させる

エージェンティックAIは、独立した意思決定能力と人間の監督なしに行動する能力をもたらします。この能力自体が、組織を脆弱にするサイバーセキュリティリスクとなり得ます。

「エージェンティックAIシステムは目標駆動型で、直接的な人間の承認なしに意思決定を行うことができます」とジョイス氏は述べます。「目標が適切に定義されていなかったり曖昧だったりすると、エージェントは企業のセキュリティや倫理基準と一致しない方法で行動する可能性があります。」

例えば、エージェントにセキュリティオペレーションセンターの「ノイズ」を減らすよう指示した場合、エージェントがこれを文字通り受け取り、運用の効率化のために正当なアラートまで抑制してしまい、組織が進行中の侵入に気付けなくなる可能性があるとジョイス氏は述べます。

エージェンティックAIシステムは独立して行動するよう設計されていますが、強力なガバナンスがなければ、この自律性はすぐにリスクとなり得るとリボルディ氏は言います。「一見無害なエージェントでも、曖昧または不十分な指示を与えられると、想定外の方法でワークフローを開始したり、データを変更したり、重要なシステムとやり取りしたりする可能性があります」と述べています。

エージェンティックAI環境では、「監督なしに多くの自律的な行動が行われます」とメイハム氏は言います。「従来の自動化とは異なり、エージェントはリンクをクリックしたり、メールを送信したり、ワークフローをトリガーしたりする選択をします。そしてこれはすべて確率的推論に基づいています。選択が誤った場合、その理由を構築するのが難しいのです。私たちのクライアントでも、安全に共有できる内容を誤解し、内部の機密URLを誤って公開してしまったケースがありました。」

マルチエージェントシステム：意図しないデータ共有の結果

マルチエージェントシステムは企業に大きな可能性をもたらしますが、AIエージェント同士が相互作用しデータを共有することで、セキュリティやプライバシー、意図しない結果に関連するリスクが生じるとCM Lawのリヒターマイヤー氏は述べています。「これらのリスクは、AIが膨大なデータにアクセスできること、自律性、マルチエージェントAIシステムの管理の複雑さに起因します」と述べています。

例えば、AIエージェントが契約上または厳しく規制されている機密情報にアクセス・処理し、許可されていない使用や開示が発生して組織に潜在的な責任が生じる可能性があるとリヒターマイヤー氏は述べます。

「マルチエージェント構成になると、調整リスクが生じます」とNorthwest AIのメイハム氏は言います。「一つのエージェントがタスクの範囲を、他のエージェントが対応できない形で拡大することがあります。サンドボックス化されていなければ、特にエージェントが現実世界の新しいデータを取り込んでいる場合、予測不可能なシステム動作につながる可能性があります。」

エージェントは他のエージェントと協力してタスクを完了することが多く、その結果、複雑なコミュニケーションや意思決定の連鎖が生じるとPwCのジョイス氏は述べています。「これらの相互作用は、意図しない形で機密データを伝播させ、コンプライアンスやセキュリティリスクを生じさせることがあります」と述べています。

例えば、カスタマーサービスエージェントがアカウント詳細を内部のリテンション分析エージェントに要約して伝え、その二番目のエージェントが後で使うためにデータを保護されていない場所に保存し、社内のデータ取扱ポリシーに違反する、といったケースです。

サードパーティ統合：サプライチェーンリスクの増大

エージェントはAPIを介してサードパーティパートナーのアプリケーションと統合・データ共有することも可能であり、CISOにとってはさらなる課題となります。異なるサービスやベンダーとの統合は、悪用や脆弱性の機会を増やすことになります。

エージェンティックAIはAPIや外部統合に大きく依存しているとリボルディ氏は述べます。「エージェントがより多くのシステムにアクセスするほど、その行動はますます複雑かつ予測不可能になります。このような状況では、サードパーティサービスの脆弱性が、異なるプラットフォーム間のエージェンティックなやり取りを通じて悪用されたり、意図せず引き起こされたりするサプライチェーンリスクが生じます。」

多くの初期段階のエージェントは、脆弱または非公開のAPIやブラウザ自動化に依存しているとメイハム氏は述べます。「スコープが不十分な統合でエージェントがトークンを漏洩したり、予期しないプラグインチェーンを通じてデータを流出させたりするケースを見てきました。ベンダースタックが断片化しているほど、こうした事態が発生する可能性が高まります。AIコーディングツールはこの点で悪名高いです。」

「各統合ポイントが攻撃対象領域を拡大し、サプライチェーンの脆弱性をもたらす可能性があります」とジョイス氏は述べます。「例えば、AIエージェントがサードパーティの人事プラットフォームと統合してオンボーディングを自動化した場合、ベンダーのAPIに既知の脆弱性があり、攻撃者がそれを悪用して社内の人事システムに横展開でアクセスする可能性があります。」

多くのエージェンティックツールはオープンソースのライブラリやオーケストレーションフレームワークに依存しており、セキュリティチームが把握していない脆弱性を抱えている場合がありますとジョイス氏は付け加えます。

多段階攻撃：エラーと悪用の境界の曖昧化

エージェンティックシステムが多段階攻撃を実行し、セキュリティツールの検知を回避して制限されたデータシステムにアクセスする新たな方法を見つける可能性があります。

「エージェンティックシステムが高度化するにつれ、意図せず多段階攻撃を模倣するような多段階行動を開発・学習する可能性があります」とリボルディ氏は述べます。「さらに悪いことに、従来の検知方法を回避する方法を偶然発見することもあり得ます。これは悪意があるからではなく、目標志向の行動が回避を報酬としてしまうためです。」

これにより、エラーと悪用の境界が曖昧になり、インシデントが悪意によるものか、発現的な行動か、あるいはその両方かをセキュリティチームが判断しにくくなるとリボルディ氏は述べます。

この種のリスクは「理論的に聞こえるほど抽象的ではありません」とメイハム氏は言います。「ラボテストでは、エージェントがツールを予想外の方法で連鎖させて使うのを見てきましたが、それは悪意というより創造的な使い方です。同じ推論能力がシステムの探索やエンドポイントのテスト、パターンベースの検知ツールの回避に悪用されたらどうなるか想像してみてください。」

エージェンティックAIはフィードバックから学習できるため、検知システムをトリガーしないように行動を変えることも—意図的に、あるいは意図せず—あり得るとジョイス氏は述べます。「これは従来のルールベースの検知・対応ツールにとって深刻な課題となります」と述べています。エージェントは、特定の行動がエンドポイント検知プラットフォームのアラートを引き起こすことを認識し、検知閾値を下回るように手法を調整することができ、これはマルウェアがウイルススキャンに適応するのと似ています。

新たなパラダイムには新たな防御モデルが必要

エージェンティックAIは強力な新モデルであると同時に、根本的に異なるサイバーセキュリティの課題をもたらすとジョイス氏は述べます。「その自律性、適応性、相互接続性は、生産性を高める一方で、潜在的な攻撃ベクトルにもなります。CISOにとって、従来のセキュリティモデルはもはや十分ではありません。」

ジョイス氏によれば、堅牢なエージェンティックAI防御戦略には以下の基本要素が必要です：

• リアルタイムの可観測性とテレメトリー
• 厳密に範囲を定めたガバナンスポリシー
• セキュア・バイ・デザインの開発手法
• セキュリティ、IT、データ管理、コンプライアンスチーム間のクロスファンクショナルな連携

「プロアクティブで多層的なセキュリティアプローチを採用し、最初からガバナンスを組み込むことで、組織はエージェンティックAIの可能性を安全に活用しつつ、そのリスクを最小限に抑えることができます」と述べています。