AIエージェントのセキュリティ：責任は誰にあるのか？

出典：Brain Light（Alamy Stock Photo経由）

エージェント型AIの導入は、特にMicrosoftやSalesforceのような大手プラットフォームがエージェントを自社製品に組み込む中で、生産性向上や業務効率化を目指すあらゆる規模の組織にとって不可欠になりつつあります。しかし、これらの支援ツールを急いで導入・活用する際には、ベンダーと顧客の間でセキュリティ責任を共有することが、あらゆるエージェント型AIプロジェクトの成功にとって極めて重要であることを理解する必要があります。

セキュリティを無視するリスクは非常に高い可能性があります。例えば先月、AIセキュリティベンダーのNomaは、Salesforceのエージェント型AI製品Agentforceにおいて「ForcedLeak」と呼ばれる重大な脆弱性の連鎖を発見したと詳細を発表しました。これは、攻撃者が不適切なセキュリティ制御を持つ顧客のCRM機密データを間接的なプロンプトインジェクション攻撃によって流出させる可能性がありました。Salesforceはアップデートやアクセス制御の推奨によりこの問題に対応しましたが、ForcedLeakはエージェントが機密データを漏洩させる可能性の一例に過ぎません。不適切なアクセス制御、取り込まれた秘密情報、プロンプトインジェクション攻撃などによってデータが漏洩する恐れがあります。

エージェント型AIのセキュリティを追加するのは簡単なことではありません。従来のソフトウェアやクラウド導入においても責任や過失の所在を明確にするのは十分に難しいのです。AIのように、ベンダーも顧客も急いで導入し、技術が常に進化している場合は、これらの境界線を定めるのはさらに複雑になります。

さらに、組織はフィッシングのような他のセキュリティ意識の課題にも取り組んでおり、ユーザーがすべての悪意あるメールを見抜くのではなく、できるだけリスクをユーザーから切り離す最善の方法を模索してきました。フィッシング対策としては、物理的なFIDOキーや安全なメールゲートウェイの導入などがあります。

これはAIエージェントにも同様に当てはまります。AIエージェントは不完全な自律プロセスであり、ユーザーは機密情報へのアクセスや過剰な権限付与、不適切な監督のもとで安全でないプロセスのルーティングなどに依存する可能性があります。エージェントの使い方や使ってはいけない方法についてユーザーを教育することは、セキュリティチームにとってさらにもう一つの難題となります。

自分のAIエージェントの責任者は誰か？

責任の共有は複雑な問題です。一方で、ソフトウェアベンダーは長年にわたり、セキュリティの負担をユーザーに過度に押し付け、不安全な製品を販売してもほとんど責任を問われないと批判されてきました。他方で、組織が基本的なセキュリティ衛生を怠れば、ベンダーを非難するのは公平ではありません。

Aim SecurityのAim Labs責任者であるItay Ravia氏（AIセキュリティベンダーで、以前Copilotのデータ流出脆弱性「EchoLeak」を公開）は、理想的な世界ではAIエージェントは厳格なセキュリティテストを経ているはずだとDark Readingに語ります。しかし、AIブームによって「セキュリティを犠牲にしてAIをより賢く、強力に、より有能にする競争」が生まれています。

Ravia氏は、エージェント型AIの顧客は、適切なガードレールが設けられていることを確認することで、自らのセキュリティ体制に責任を持たなければならないと述べています。VaronisのフィールドCTOであるBrian Vecci氏は、まず理解すべきことは、データはAIエージェント自体に直接保存されているのではなく、エージェントがアクセスを許可された企業のデータリポジトリ内に保存されているということだと説明します。

「そのアクセス制御は、エージェント個別またはプロンプトを出すユーザー個別に設定でき、データを適切に保護する責任はエンタープライズ側にあります。エージェントのベンダーやハイパースケーラープロバイダーの責任ではありません」と彼は言います。「データセキュリティの責任共有モデルはクラウドやエージェント型サービスの中核であり、顧客はそのリスク管理にしばしば苦労しています。」

AppOmniのAIディレクターであるMelissa Ruzzi氏は、AIエージェントのデータを安全に保つことは、SaaS（ソフトウェア・アズ・ア・サービス）アプリケーションでデータを安全に保つことと同等に考えるべきだと述べています。

「プロバイダーはインフラ自体のセキュリティに責任を持ち、顧客はデータとユーザーのセキュリティに責任を持ちます」と彼女は言います。「AIアプリケーションで最も重要なのは、データの流れとアクセス、つまりデータがどこから来てどこへ行き、誰がアクセスできるかを理解することです。AIがデータを使用しているからといって、厳格なセキュリティレビューを省略してよい理由にはなりません。」

Ravia氏、Vecci氏、Ruzzi氏は責任の観点で異なる見解を示していますが、総合するとより大きく複雑な全体像が浮かび上がります。データはAIエージェントとは別に保存されているため、非人間ユーザーに鍵を渡す際には、ユーザー自身が適切なデータセキュリティ制御を確保する必要があります。その一方で、AIを販売するベンダーは、エージェントが機密データを漏洩させる可能性を最小限に抑えるためのあらゆる対策を講じるべきであり、この責任を果たせていないベンダーも存在します。

セキュリティ意識：AIユーザーを自らの過ちから守る

誰に責任があるかにかかわらず、AIによるデータ漏洩は十分な頻度で発生しており、フィッシングの場合と同様に、AIベンダーが多要素認証（MFA）やシークレットスキャンの義務化などで顧客自身から顧客を守るべきかどうかを問う価値があります。

業界標準とは言えませんが、こうした事例は実際に存在します。Salesforceの広報担当者は、同社製品ではすべての顧客にMFAの使用を義務付けているとDark Readingに語っています。

Aim SecurityのRavia氏は、ここ数ヶ月で大手ベンダーがこうした保護策の導入に向けて動き始めたものの、「残念ながら攻撃者にはまだ大きく遅れをとっており、新たな回避手法を考慮できていません」と述べています。また、VaronisのVecci氏によれば、SalesforceやMicrosoftのように組み込みAIエージェントを提供するベンダーは、境界のセキュリティしか担保できないとのことです。

コンサルティング会社NCC GroupのAI・機械学習セキュリティ部門責任者であるDavid Brauchler氏は、適切な認証・認可制御の適用責任はエージェントを利用する組織にあり、ベンダーは顧客がAIシステムへのアクセスを管理できるよう適切なツールを提供する責任があるとDark Readingに語ります。— しかし、ユーザー意識の観点からはここが曖昧になります。

「AIベンダーが合理的に一定のセキュリティベストプラクティスを強制することはできますが、ベンダーが利用できるどのツールも根本的なデータアクセスの問題を解決するものではありません」と彼は言います。「シークレットスキャンやデータ損失防止（DLP）のようなツールは、しばしば誤った安心感や『ベンダーが何とかしてくれる』という考えによる脆弱性の拡大を招きます。これらの問題はエージェント型モデル自体の中では根本的に解決できず、顧客のAIインフラのアーキテクチャで対応する必要があります。」

結論として？ここ数年のAI導入には多くの問題がありましたし、特にエージェント型AI製品が顧客環境に導入される際の問題もあります。したがって、組織が「AI勝者」になるためにエージェントや他のLLM製品への投資を決断する前に、まずセキュリティを最優先すべきです。組織はエージェントがどのデータにアクセスできるかを把握し、ベストプラクティスやガードレールを確実に設け、AI製品の利用リスクを十分に理解し、リスク軽減策を講じる必要があります。