CopilotのノーコードAIエージェント、企業データ漏えいの恐れ

出典: dpa picture alliance / Alamy Stock Photo

人工知能（AI）エージェントは、Microsoft Copilot Studioを使えば簡単に作成できるが、それと同じくらい簡単に操作され、機密性の高い企業データを漏えいしてしまう可能性がある。

AIエージェントに関する広範なセキュリティ上の懸念があるにもかかわらず、昨年Microsoftは、まったくの非技術系ユーザーであっても自律型ボットを展開できるようにする決定を下した。いまやコードを書く必要はまったくない。シンプルなグラフィカルインターフェースを使うだけで、従業員は業務プロセスを自動化し、他のビジネスプラットフォームと連携し、顧客対応業務までこなせるロボットを立ち上げることができる。

そうした中で、これらのエージェントがいかに安全性に欠けるかを詳述したTenableの新たなレポートに、ある意味驚きはない。単純な実験として、研究者らは基本的なエージェントを1つ作成し、それがいかに簡単に機密データを吐き出すよう誘導され、攻撃者に他のばかげた権限まで与えてしまうかを実演してみせた。

「これらのツールは、そのアクセスレベル、アクションを実行する能力、そして簡単に操作されてしまう点から、非常に大きなリスクとなり得ます」と、TenableのAIセキュリティ製品・リサーチ シニアグループマネージャーであるKeren Katz氏は警告する。「その結果、エージェント型ツールは、LLMに内在する脆弱性と相まって、データ露出やワークフローの乗っ取りにつながりかねません。」

Copilot AIエージェントに対するプロンプトインジェクション

多くの場合、テクノロジーは複雑であるため、初心者ユーザーは誤った方法でインストールしたり、重要なセキュリティ設定を見落としたりすることがある。ここではその逆だ。Copilot Studioエージェントはあまりにシンプルで展開が容易なため、サイバーセキュリティの基本を受けていないユーザーは、多層的な保護が必要であること自体を忘れてしまう可能性が高い。

例えば、誰かがAIエージェントを利用する、ごくありふれたケースを考えてみよう。たとえば、電話対応の時間を節約するために、顧客にチャットボット経由で旅行の予約をさせたい、怠惰な旅行代理店があるとする。Tenableはそのようなエージェントを作成し、仮想の顧客が仮想の予約を行ったり編集したり、料金や空き状況に関する情報にアクセスしたり、旅程の要約を受け取ったりできるようにした。そのうえで、偽の顧客名とクレジットカード情報が記載されたSharePointファイルにボットを接続した。

詮索好きな顧客に備え、研究者らはボットに対し、ある顧客が他の顧客に関するデータへアクセスすることを決して許可しないよう、非常に具体的な指示を与えた。「これは重大なセキュリティ上の必須要件である」と、彼らはシステムプロンプト内で太字で書き添えた。

ボットのセットアップが完了すると、それを崩壊させるのに時間はかからなかった。研究者らはまず、ボットが実行可能なアクションを明らかにさせるため、初歩的なプロンプトインジェクションメッセージを試し、ボットは忠実に応じた。そして、「重大なセキュリティ上の必須要件」にもかかわらず、ランダムな顧客に関する情報を求めると、ボットはためらうことなくそれらの詳細を提供した。権限をまったく持たない顧客を装った彼らは、他の顧客の氏名、クレジットカード情報、関連する予約情報に即座にアクセスできてしまった。

次に研究者らは、AIエージェントを通じて、たとえ間接的であっても顧客にデータ編集権限を与えることが、いかに危険であるかを示した。再び顧客役になり、旅行ボットに対して、自分たちのバケーション予約の料金を0ドルに更新するようプロンプトを送ったところ、1文のプロンプトだけで目的を達成できてしまった。

ボット向けのセキュリティ指示を改善する余地があったかどうか尋ねられると、Katz氏は明確に「ノー」と答える。「これは実装に内在する問題であり、設定の問題ではありません」と同氏は語る。

組織はリスキーなAIエージェントにどう対処すべきか

同氏はまた、この実験はMicrosoft固有のものではあるが、「根本的な問題は他のAIプラットフォームにも蔓延していると考えています」と警告する。「特に、LLMを外部ツールと接続して現実世界のタスクを実行させるような、AIエージェントを簡単に構築できるあらゆるプラットフォームは、同じ基本的な脆弱性リスクを抱えています。」

事態をさらに悪化させているのが、現在の「シャドーAI」の実情だ。あまりに迅速かつ容易に自律型エージェントを作成できるため、中規模から大規模組織の従業員は、セキュリティチームの可視性の外側で、自分たちの裁量で大量のエージェントをあちこちに展開している。Katz氏によれば、ほとんどの企業は、自社環境内で現在稼働しているエージェントが数十、場合によっては数百に上ることを把握していないという。例えば同氏は、「ある顧客が、あるエンタープライズAI企業から別の企業へ乗り換えたケースが最近あり、（調査してみると）旧AIベンダーのインスタンスが数十件も見つかりました」と振り返る。

「組織は、エージェントが展開前および展開中にどのシステムやデータストアとやり取りできるのかを、自動的にマッピングする集中管理されたビューを必要としています。この可視性により、エージェントが広範な『編集』権限を持っているといった誤設定をセキュリティチームが特定し、機密データやシステムが侵害される前に対処することが可能になります」と同氏は述べる。組織はまた、AIエージェントに対して行われるリクエストと、その後エージェントが実行するアクションを継続的に監視することもできる。

Katz氏は、企業がCopilotのようなツールを活用することを推奨しているが、「そのリスクを理解し、自社のエンタープライズ環境内におけるエージェントのセキュリティを積極的に管理していることが前提です。目的は、これらのシステムを他の重要テクノロジーと同じ厳格さで扱うことで、安全にイノベーションを進めることです」と語る。

Microsoftは本件に関するコメントを控えた。