生成AIが日常の政府業務に導入される中、プロンプトインジェクションが懸念に

生成AIの日常的な使用は、州および準州政府環境での日々の業務へ移行し、共通のワークフロー内に新しいセキュリティリスクをもたらしています。

インターネットセキュリティセンター（CIS）のレポート「プロンプトインジェクション：生成AIへの本質的な脅威」は、プロンプトインジェクションがその導入に関連した継続的な懸念として特定しています。

導入拡大による露出増加

AIツールの使用は政府ITチームで増加しています。51の州および準州の最高情報責任者（CIO）を対象とした2025年NASCIO調査では、従業員が日常業務で生成AIを使用していると82%が報告し、前年の53%から増加しました。

ほとんどの組織は初期段階のテストを超え、広範なパイロットプログラム、概念実証、従業員研修がすでに導入されています。AI、生成AI、およびエージェンティックAIは2026年のポリシーとテクノロジーの最優先事項として第1位にランクされました。

これらのツールはドキュメントの要約、メール返信、コード作成、スケジュール管理などのタスクをサポートしています。

「生成AIツールはシステムとデータへの特権アクセスを持つことが多く、これは運用価値を高めると同時に、脅威アクターにとって魅力的なターゲットにもなります」と研究者は述べています。

モデルの動作がセキュリティギャップを生み出す

プロンプトインジェクションは10年以上前から文書化されており、研究は2013年にさかのぼります。ターゲットを絞った研修はモデルがこれらの攻撃に対処する方法を改善できますが、研究によると、研修だけでは十分な保護を提供しません。

主な弱点は言語モデルが入力を処理する方法にあります。レポートはLLMが命令を他のデータから分離しないことに注目しています。モデルは埋め込まれた悪意のある命令を通常のリクエストと同じ方法で処理できます。

この動作は2つのタイプのプロンプトインジェクションを可能にします。直接プロンプトインジェクションはモデルとの直接的なやり取りを通じて発生し、セーフガード回避の試みを含みます。

間接プロンプトインジェクションはWebページ、メール、ドキュメントなどの外部コンテンツに悪意のある命令を配置し、AI システムが後でそれを取得して処理します。

「プロンプトインジェクションは生成AIのエージェンティックデータベースを汚染し、攻撃がユーザーセッション全体で継続し、他のアプリケーションによって参照されることができます。また、クラウドストレージやメールボックスなど、生成AIエコシステムによって参照される外部データストアを汚染する可能性もあります。生成AIアプリケーションがコード実行を許可されている場合、攻撃者に代わってリモートで実行するよう操作される可能性があります」と彼らは警告しています。

OWASPはプロンプトインジェクションを生成AIおよびLLMアプリケーションの最大のリスクカテゴリとして特定しています。

例は攻撃がどのように展開されるかを示しています

複数の概念実証シナリオは、プロンプトインジェクションがどのようにして接続されたAIシステムとアプリケーション全体を通じて移動できるかを示しています。

一例は、Webページをスキャンするエージェンティック AIです。マークアップ、メタデータ、またはレンダリングされたコンテンツに埋め込まれた隠れた命令により、エージェンティック は機密データを収集して送信するよう指示されます。デモンストレーションでは、生成AI コードアシスタントはドキュメントページに隠された命令を処理し、コードスニペットと AWS APIキーデータを外部URLに送信しました。宛先サービスはAntigravity のデフォルト設定でホワイトリスト登録されました。

追加のケースは2025年7月のVisual Studio Code向けAmazon Q拡張機能のアップデートです。このアップデートは、AIエージェンティック に非隠しファイルを削除し、AWS サーバーを終了し、クラウドデータを削除するよう指示するプロンプトを導入しました。AWS はアップデートの2日後にパッチを発行し、セキュリティ情報を公開しました。

Morris II ワームはプロンプトインジェクションがシステム全体にどのように伝播できるかを示しています。メールに埋め込まれた悪意のあるプロンプトは、AI メールアシスタントを通じて検索拡張生成（RAG）データベースに入力されました。その後、アシスタントは同じ悪意のあるプロンプトと機密情報を含む追加のメールを生成しました。

GeminiJack のケースは、Google ドキュメントやカレンダーエントリなどのエンタープライズデータソースに埋め込まれた悪意のある命令です。検索を通じて取得されると、命令は外部インフラストラクチャへのデータ流出をトリガーしました。Google は後に、この問題に対処するために Vertex AI Search を Gemini Enterprise から分離しました。

コントロールはアクセスと監視の制限に焦点を当てています

組織は、AIツールの受け入れられる使用ポリシーを定義し、機密データの処理と悪意のあるプロンプトの認識に関するユーザー研修を提供することをお勧めします。

その他の対策には、AIプラットフォームが到達できるシステムとデータの追跡、最小権限の実施、および機密データやコード実行を含むアクションの前に人的承認を要求することが含まれます。定期的なログレビューは、異常な動作を特定するのにも役立ちます。