英国NCSC、プロンプトインジェクション攻撃に警鐘

プロンプトインジェクションの脆弱性は、カテゴリとして完全に軽減されることは決してない可能性があり、ネットワーク防御側はその影響を減らす方法に注力すべきだと、政府のセキュリティ専門家が警告している。

国家サイバーセキュリティセンター（NCSC）のプラットフォーム研究担当テクニカルディレクターであるDavid C氏は、セキュリティ専門家に対し、プロンプトインジェクションをSQLインジェクションのように扱わないよう警告した。

「SQLインジェクションは、サイバーセキュリティにおける繰り返し発生する問題、すなわち『データ』と『命令』が誤って扱われることを示す好例です」と同氏は説明した。

「これにより、攻撃者は『データ』を供給し、それがシステムによって命令として実行されてしまいます。これは、多くの重大な脆弱性タイプ、たとえばクロスサイトスクリプティングやバッファオーバーフローの悪用などに共通する根本的な問題です。」

しかし、大規模言語モデル（LLM）はデータと命令を区別しないため、同じルールはプロンプトインジェクションには当てはまらない。

「LLMにプロンプトを与えても、人間のようにそのテキストを理解しているわけではありません。これまでのテキストから、最もありそうな次のトークンを単に予測しているだけなのです」とブログは続けた。

「『データ』と『命令』の間に本質的な区別がないため、プロンプトインジェクション攻撃は、SQLインジェクション攻撃のように完全に軽減されることは、おそらく決してないでしょう。」

このため、プロンプトインジェクションの試みを検知したり、モデルに「命令」を「データ」より優先させるよう訓練したり、モデルに「データ」とは何かを説明したりするような緩和策は、失敗に終わる運命にあると、David C氏は主張した。

プロンプトインジェクション攻撃の詳細はこちら：「PromptFix」攻撃がエージェント型AIの脅威を加速させる可能性

この課題に取り組むより良い方法は、プロンプトインジェクションをコードインジェクションとしてではなく、「本質的に混同しやすい代理人」の悪用として捉えることだという。

David C氏は、リスクを完全には軽減できないため、LLMは「本質的に混同しやすい（inherently confusable）」と主張した。

「プロンプトインジェクションを修正する緩和策を適用できると期待するのではなく、リスクと影響を減らすことを目指して取り組む必要があります。システムのセキュリティが残留リスクを許容できないのであれば、そのユースケースはLLMに適していない可能性があります」と同氏は説明した。

プロンプトインジェクションリスクの低減

NCSCは、プロンプトインジェクションのリスクを低減するために、以下のステップを提案している。これらはすべて、AIモデルおよびシステムのベースラインサイバーセキュリティ要件に関するETSI（TS 104 223）に整合している。

• 開発者／セキュリティチーム／組織が、この種の脆弱性クラスを認識し、製品やアプライアンスでは完全に軽減できない残留リスクが常に存在することを理解すること
• LLMの安全な設計、とくにLLMがその出力に基づいてツールを呼び出したりAPIを使用したりする場合。保護策は、外部の人物からのメールを処理するモデルが特権的なツールにアクセスできないようにするなど、システムの行動を制約する非LLMのセーフガードに重点を置くべきである
• 「データ」セクションを「命令」と分離してマークするなど、悪意あるプロンプトを注入しにくくすること
• ツール／API呼び出しの失敗など、不審な活動を特定するためのログ情報の監視

この課題に早期に対処しなければ、SQLインジェクションのバグと同様の状況を招く可能性があり、SQLインジェクションはようやく最近になってようやくかなり少なくなってきたところだ。

「私たちは、ほとんどのアプリケーションに生成AIを組み込もうとしているため、プロンプトインジェクションでも同じパターンが繰り返されるリスクがあります」とDavid C氏は締めくくった。

「これらのアプリケーションがプロンプトインジェクションを念頭に置いて設計されていなければ、同様の侵害の波が続く可能性があります。」

ExabeamのチーフAIオフィサーであるSteve Wilson氏も、現在のプロンプトインジェクション対策はうまく機能していないことに同意している。

「CISOは発想を転換する必要があります。AIエージェントの防御は、従来型ソフトウェアの保護というより、組織内の人間を守ることにずっと近いのです。エージェントは人間と同様に、扱いにくく、適応的で、操作・強要・混乱させられやすい存在です」と同氏は付け加えた。

「そのため、古典的なアプリケーションコンポーネントというより、インサイダー脅威に近い存在だと言えます。悪意あるプロンプト、上流データの侵害、意図しない推論経路のいずれに対処する場合でも、絶え間ない警戒が必要です。効果的なAIセキュリティは、魔法のような保護レイヤーから生まれるのではなく、運用上の規律、監視、封じ込め、そしてこれらのシステムが今後何年にもわたり予測不能な振る舞いを続けるという前提から生まれるのです。」