AIコネクタのリスク:9分ごとに変化する権限

作業に使っているサービスとAIエージェントを接続すると、見慣れた連携が一転して落ち着かないものに変わります。データへのアクセス経路が絶えず変化し続けるからです。ChatGPTやClaudeのコネクタは、いつの間にか新しい機能を獲得することがあります。さらに、情報をサードパーティのAIシステムへ転送することもあります。

PromptArmorは2,517個のコネクタを調査し、衝撃的な結論に達しました。両方のカタログを合わせると、コネクタは平均でおよそ9分ごとに変化しているというのです。重要なのは、こうした変化がほとんどの場合、通知や再同意の手続きを伴わずに起きている点です。

6週間で何が変わったのか

研究者たちは5月中旬から6月末までの期間、稼働中のコネクタを追跡しました。その間に931個、全体の37パーセントが変化していました。

開発者は、すでに稼働していた連携に1,686個の新しいツールを追加しました。これにより、モデルはユーザーデータの読み取り・変更・送信ができるようになります。さらに1,127個のツールで説明文が書き換えられました。この説明文は、AIがそのツールを呼び出すかどうかを判断する材料になるものです。

目立たない、しかし重大な変化

あまり注目されないものの、実際には大きな意味を持つ変化もありました。664個のツールが、受け付ける入力の内容を変更していました。また、コネクタは86個の新しいOAuth権限スコープを要求していました。通信先のエンドポイントを変更したものも50個あり、これによりデータの処理場所が変わる可能性があります。

中でも特に注目すべきは、完全に読み取り専用だった21個のコネクタが、コンテンツの作成・編集・削除の権限を新たに得ていたことです。個別のツールで見ると、読み取り専用から書き込み可能へと分類が変わったものが12個ありました。これらはいずれも、読み取り専用として審査・承認済みだったものです。

Dropbox:権限が肥大化していく様子

Dropboxのコネクタは、とりわけ顕著に拡張していました。当初は8個だったツールが、最終的には24個に増えていました。書き込み可能な機能は3個から10個へと増加しました。データの削除や不可逆的な変更が可能な、潜在的に破壊的な操作は0個から4個に増えました。権限スコープは0個から8個になりました。同時に、このコネクタは独自の指示をモデルに注入し始めていました。

他のコネクタも同様の経過をたどっています。Slackはツールが14個から32個に増え、権限スコープは1個から34個へと跳ね上がりました。Miroはツールが5個から31個に拡大しました。Google Driveでは、破壊的操作としてフラグが立てられたツールが9個から16個に増えました。

コネクタがモデルに直接「ささやく」時代

1か月前にはほとんど存在しなかった仕組みが新たに登場しました。ChatGPTは、コネクタがモデルのコンテキストへ直接指示を書き込めるフィールドを導入したのです。この機能の採用は即座に広がりました。6月末までに、283個のコネクタがこうした指示の注入を行っていました。

多くは、エージェントがコネクタをうまく扱えるよう補助する、悪意のない目的で使われています。とはいえ、このフィールドは、そのコネクタ本来の役割を超えてエージェントの挙動を誘導しかねません。PromptArmorは、あるコネクタの事例を挙げています。そのコネクタは、ツールの結果が思わしくないたびにフィードバックを送信するようエージェントに指示していました。そのフィードバックには、ユーザーが扱っていた機密データが含まれてしまう可能性があります。

リクエストが他のAIプロバイダーへ渡る可能性

コネクタは、リクエストを他のAIベンダーへ転送することもあります。関連調査として、PromptArmorはClaudeの487個の連携に含まれる7,517個のツールを調査しました。その結果、この機能は189個のコネクタ、およそ5個に2個の割合で確認されました。例えば、Zoomにミーティングを問い合わせるだけのリクエストが、そのサービスが依存する外部のモデルやデータ処理システムに届いてしまう場合があるのです。

この構造は、厄介な死角を生み出します。ある企業がClaudeやChatGPT自体を入念に審査していたとしても、サードパーティベンダーがひそかに組み込んでいる追加サービスまでは見落としてしまう可能性があります。Anthropicも別途、連携先のサービスは自社のインフラ上で、自社のルールに従って情報を処理すると警告しています。Claudeのコンピュートリージョン設定は、こうした連携先には及ばないのです。

被害範囲が広がり続ける理由

カタログ自体も急速に膨張しています。ChatGPTで公開されているサードパーティコネクタの数は、1,014個から1,933個へとほぼ倍増しました。Claudeのディレクトリは4分の1増加し、535個に達しました。呼び出し可能なツールはそれ以上の勢いで増加し、ChatGPTで破壊的操作としてフラグが立てられたアクションは3倍に増えました。

PromptArmorは、コネクタがAIエージェントへの攻撃による被害を大幅に増幅させると指摘しています。連携機能は、機密データ、信頼できないコンテンツ、外部サービスでの操作という3つの扉を同時に開いてしまいます。その結果、たった一つの悪意ある指示が、メールのやり取りや文書、その他の業務リソースにまで及んでしまう可能性があるのです。

翻訳元: https://meterpreter.org/ai-connector-risk/

ソース: meterpreter.org