- TenableがChatGPT-4oで7つのプロンプトインジェクション脆弱性を発見、「HackedGPT」攻撃チェーンと命名
- 脆弱性には隠しコマンド、メモリ永続化、信頼されたラッパーを介した安全機構のバイパスが含まれる
- OpenAIはGPT-5で一部の問題を修正したが、残りの問題に対してより強力な防御が求められている
ChatGPTには、脅威アクターが隠しコマンドを挿入し、機密データを盗み、AIツールに誤情報を拡散させることを可能にする多数のセキュリティ問題があると、セキュリティ研究者らが警告している。
最近、Tenableのセキュリティ専門家がOpenAIのChatGPT-4oをテストし、「HackedGPT」と総称する7つの脆弱性を発見した。これには以下が含まれる：
- 信頼されたサイトを介した間接的プロンプトインジェクション（GPTがコンテンツを読み取る際に知らずに従う可能性のある隠しコマンドを公開サイト内に埋め込む）
- 検索コンテキストでの0クリック間接プロンプトインジェクション（GPTがウェブ検索を行い、隠された悪意のあるコードを含むページを見つける。質問することでGPTが知らずにその指示に従う可能性がある）
- 1クリックでのプロンプトインジェクション（ユーザーが隠されたGPTコマンドを含むリンクをクリックするフィッシングの変形）
- 安全機構のバイパス（悪意のあるリンクを信頼されたラッパーで包み、GPTをだましてユーザーにリンクを表示させる）
- 会話インジェクション（攻撃者はSearchGPTシステムを使用して、ChatGPTが後で読み取る隠し指示を挿入し、事実上自分自身にプロンプトインジェクションを行う）
- 悪意のあるコンテンツの隠蔽（悪意のある指示をコードやマークダウンテキスト内に隠すことができる）
- 永続的メモリインジェクション（悪意のある指示を保存されたチャットに配置し、モデルがコマンドを繰り返し実行してデータを継続的に漏洩させる）
防御強化の要請
ChatGPTの開発元であるOpenAIは、GPT-5モデルで一部の脆弱性に対処したが、すべてではなく、数百万人のユーザーが潜在的なリスクにさらされている状態だ。
セキュリティ研究者らは、かなり以前からプロンプトインジェクション攻撃について警告してきた。
GoogleのGeminiもGmailと統合されているため、同様の問題の影響を受けやすいようだ。ユーザーは隠されたプロンプト（例えば白い背景に白いフォントで入力されたもの）を含むメールを受信する可能性があり、そのメールに関して何かをツールに質問すると、隠されたプロンプトを読み取って実行してしまう可能性がある。
場合によってはツールの開発者がガードレールを設定できるが、ほとんどの場合、これらの手口に引っかからないよう警戒するのはユーザー次第である。
「HackedGPTは、大規模言語モデルがどの情報を信頼すべきか判断する方法における根本的な弱点を露呈している」と、TenableのシニアリサーチエンジニアであるMoshe Bernstein氏は述べた。
「個々の脆弱性は小さく見えるが、それらが組み合わさることで、インジェクションと回避からデータ窃取と永続化に至るまでの完全な攻撃チェーンを形成する。これは、AIシステムが単なる潜在的な標的ではなく、日常的なチャットやブラウジングから静かに情報を収集する攻撃ツールに変わり得ることを示している。」
Tenableによると、OpenAIは「特定された脆弱性の一部」を修正したが、「いくつか」はChatGPT-5でまだ有効であるとし、どの脆弱性かは明らかにしていない。その結果、同社はAIベンダーに対し、安全機構が意図通りに機能することを確認することで、プロンプトインジェクションに対する防御を強化するよう助言している。
