悪意のあるAIプロンプトインジェクション攻撃が増加、ただし高度さは依然として低い:Google

Googleが公開ウェブ上のサイトを含むAI間接プロンプトインジェクション試行を分析し、過去数ヶ月間で悪意のある攻撃の増加に気づきました。ただし、大手テック企業の研究者たちは、その高度さは比較的低いと述べています。

ダイレクトプロンプトインジェクションは、ユーザーがAIと対話してそのルールを回避する「ジェイルブレイク」です。一方、インダイレクトプロンプトインジェクションは、外部データに存在する悪意のある指示によってAIが騙される「隠されたトラップ」です。

サイバーセキュリティ研究者たちは、近年多くのインダイレクトプロンプトインジェクション方法を発見しており、ウェブサイト、メール、開発者リソースに仕掛けられた特別に作成されたプロンプトを使用して、Gemini、Copilot、ChatGPT、および他のジェネレーティブAIツールを欺き、セキュリティを回避し、データ盗難を助長しています。

多くの理論的な攻撃方法が存在していますが、Googleの脅威インテリジェンス専門家たちは最近、これらのAI脆弱性が実際の環境でどの程度まで悪用されているかを判断することに着手しました。

具体的には、彼らの研究は公開インターネット上のウェブサイトに設定されたインダイレクトプロンプトインジェクション試行に焦点を当てていました。彼らはCommon Crawlに保存されたウェブサイトスナップショットをスキャンして既知のプロンプトインジェクションパターンを探し、Geminiとヒューマンレビューを使用して誤検知を除外しました。

特定されたプロンプトインジェクションの分析では、無害なイタズラ、AIエージェントを阻止しようとする試み、検索エンジン最適化、有用なガイダンス、および一部の悪意のある攻撃が見つかりました。

例えば、プランクプロンプトインジェクションは訪問するAIアシスタントに動作を変更するよう指示することができます(例:赤ちゃんの鳥のように行動し、鳥のようにツイートする)。 

一部のウェブサイト所有者はサイトを要約するよう任務付けられたAIのための有用な指示を配置していますが、他の所有者はウェブサイトのクローリングを防ぐよう設計されたプロンプトを追加しており、コンテンツが危険で機密であることをAIに伝えることで防止しています。 

Google研究者たちはまた、AIアシスタントに自社が最高だと主張するよう指示することで検索エンジン最適化を試みるウェブサイト管理者も発見しました。

しかし、セキュリティの観点から最も重要なのは、悪意のあるプロンプトインジェクション試行です。研究者たちは、このような攻撃の2つのタイプを発見しました:データ流出と破壊です。

一部のウェブサイトには、IPと認証情報を含むデータを収集し、攻撃者が指定したメールアドレスに送信するようAIに指示するプロンプトが含まれていました。 

「ただし、このクラスの攻撃については、高度さはかなり低いようでした」とGoogle研究者たちは述べ、「2025年にセキュリティ研究者によって発表された既知の流出プロンプトを使用するような、高度な攻撃の大規模な事例は観察しませんでした。これは攻撃者がまだこの研究をスケールで商用化していないことを示しているようです。」

Image

破壊カテゴリーでは、一部のプロンプトはAIをユーザーのマシン上のすべてのファイルを削除するようにだまそうとしていましたが、研究者たちはこのような攻撃が成功する可能性は低いと指摘しました。 

特に高度な攻撃は見られませんでしたが、Google専門家たちは、2025年11月から2026年2月の間に悪意のあるプロンプトインジェクション試行の32%の増加を観察したと指摘しました。彼らは、プロンプトインジェクション攻撃の規模と高度さは近い将来増加することが予想されると警告しています。

「私たちの調査結果は、ウェブ上での過去のIPI攻撃試行は高度さが低かった一方で、その上昇傾向は脅威が成熟しており、規模と複雑性の両方で増長することを示唆していることを示しています」と研究者たちは結論づけました。 

翻訳元: https://www.securityweek.com/malicious-ai-prompt-injection-attacks-increasing-but-sophistication-still-low-google/

ソース: securityweek.com