- Check Point Researchが、ChatGPTのエージェント構造に潜む「強制されたインサイダー」型の欠陥を暴露
- コンテナが内部サービス経由でメタデータを共有し、アカウントをまたいだプロンプトインジェクションとデータ窃取が可能に
- OpenAIはこの経路を閉鎖したものの、CPRは同様のリスクが他のAIプラットフォームにも存在しうると警告
ChatGPTのAIエージェントは、まったく別のアカウントと共有された機微なデータを引き出すことができてしまっていました。専門家によれば、平たく言うと「すべてのエージェントがかつては同じ廊下を歩いていた」ためだといいます。
セキュリティ専門家であるCheck Point Research(CPR)による新たなレポートは、この欠陥を「強制されたインサイダー(coerced insider)」と名付けています。これは脆弱性を悪用するのではなく、エージェントを説得することによって成立する攻撃だからです。
強制されたインサイダー
AIエージェントはコード実行を伴うタスクを与えられると、それを隔離されたコンテナ内で処理します。このコンテナは時にソフトウェアのインストールも必要とします。これを可能にするため、OpenAIはコンテナに直接インターネットアクセスを与える(これはリスクが大きすぎます)代わりに、パッケージを内部のJFrog Artifactoryインスタンス経由でルーティングしています。さらに別のセキュリティ対策として、異なるアカウントに属するコンテナ同士は互いに通信できないようになっています。
しかし、それらのコンテナは同一の内部サービス(いわば例の「廊下」)にはアクセス可能でした。このサービスはアイテム管理機能を提供しており、コンテナがリポジトリのアイテムにテキストやバイナリのプロパティを付加できるようになっています。その結果、あるコンテナが書き込んだプロパティを、別のどのコンテナでも読み取れてしまう状態になっていました。
「Check Point Researchはこの隔離の抜け穴を直接確認しました。あるアカウントのコンテナから書き込まれたプロパティが、数瞬後には別のアカウントのコンテナから完全に読み取れる状態になっていたのです。1つのプロパティに収まりきらない大きなデータについては、分割してから送信先で再結合する形で扱われていました」と研究者は説明しています。
「本来は互いに隔てられているはずのコンテナ間で、パッケージ配信用のメタデータが事実上の“共有クリップボード”と化していたのです」
ここから先は、よくあるプロンプトインジェクションの手口へとつながっていきます。唯一の違いは、悪意あるプロンプトが被害者に直接送りつけられるのではなく、その「廊下」に置き去りにされる点、そして攻撃結果も攻撃者に直接共有されるのではなく、同様にその廊下に残される点です。
攻撃者は、次回の通常の返信の際に同じストレージを確認するようエージェントに指示するプロンプト、あるいは共有会話を送り込みます。エージェントはそれを確認して悪意ある指示を発見し、実行に移します。その間も、被害者からの質問には普段どおりに応答し続けます。被害者は、その裏でデータ窃取が進行していることにまったく気づきません。
どのような情報が盗まれうるのか
しかし、これは話の半分に過ぎません。この攻撃がどれほど破壊的になるかは、被害者側のエージェントと共有されているデータの量によって左右されます。
最低限盗まれるのは、エージェントとのやり取り中に共有された情報です。そして、連携アプリが増えるたびに被害範囲は拡大していきます。Gmail、Google Drive、Microsoft Teams、GitHubなどが該当します。CPRは次のように強調しています。「Check Point Researchの実証実験では、ChatGPTが被害者の連携済みGmailアカウントからメールデータを取得し、たった一往復のやり取りの中で攻撃者側のセッションへと送り届けていました」
朗報としては、少なくともChatGPT経由でこの手口に晒される可能性はほぼなくなったという点です。CPRによれば、調査結果はOpenAIに開示済みで、OpenAI側は今回の調査で特定された当該の内部Artifactoryインスタンスがすでに廃止されたことを確認したといいます。つまり、廊下を通る攻撃経路はすでに閉じられているわけです。
悪い知らせとしては、これで誰もが自動的に安全になったわけではないという点です。この特定の経路は閉じられたものの、この欠陥の背後にあるアーキテクチャ上のパターン自体は、他のプラットフォームにも存在しうるとCPRは警告しています。
レポートは次のように述べています。「組織の信頼境界の内側で動作し、認証情報を保持し、コードを実行し、連携サービスにアクセスできるAIアシスタントであれば、どれもCheck Point Researchが言うところの『強制されたインサイダー』になり得ます。モデル自体が悪意を持つ必要はありません。本来信頼すべきでないテキストによって説得され、正当な理由で付与されたアクセス権を悪用させられれば、それで十分なのです」
今後、企業には、自社の従業員がどのAIツールを使用し、それらのツールが何と連携しているのかを把握することが推奨されます。そのうえで、AIツールやエージェントに許可する行動を統制し、その出力だけでなくすべての行動を監視対象として扱う必要があります。
