eSecurity Planet のコンテンツおよび製品に関する推奨事項は、編集面において独立性を保っています。パートナーへのリンクをクリックいただくことで、当社が収益を得る場合があります。 詳細はこちら
人工知能(AI)は企業セキュリティのあり方を大きく変えつつありますが、同時に攻撃者にとって新たな機会も生み出しています。
プロンプトインジェクションやデータポイズニングから、モデルの悪用、そしてAIを悪用したフィッシングに至るまで、企業は従来のセキュリティ対策では想定していなかった、拡大し続ける攻撃対象領域に直面しています。
こうしたリスクをセキュリティ専門家がより深く理解できるよう、TryHackMeのシニアコンテンツエンジニア兼AIセキュリティチーム責任者であるMax Robertson氏が、eSecurity Planet Podcastに出演しました。番組では、TryHackMeのインタラクティブなトレーニングプラットフォームを使い、直接的および間接的なプロンプトインジェクション攻撃について実演を交えて解説しています。
動画の中でMax氏は、こうした攻撃が実際にどのように機能するのかを一つひとつ解説しながら、AIセキュリティがなぜ従来のアプリケーションセキュリティとは異なる発想を必要とするのかを説明しています。
プロンプトインジェクションは依然としてAIセキュリティ最大級のリスク
プロンプトインジェクションは、大規模言語モデル(LLM)に対する脅威として最も多く議論されるものの一つとなっています。それには相応の理由があります。
Robertson氏が説明するように、この攻撃はSQLインジェクションと重要な共通点を持っています。どちらのケースでも、攻撃者は信頼された命令と信頼できない入力を混在させることで、開発者が意図していなかった動作をアプリケーションに実行させようとします。
デモの中でRobertson氏は、AIを活用した自動車販売アシスタントを模したシステムに対する直接的なプロンプトインジェクション攻撃を紹介しています。
チャットボットの既存の指示を上書きするようなプロンプトを慎重に作り込むことで、攻撃者がAIを操作し、架空の1ドルでの車両購入を承諾させられることを実演しています。
トレーニング目的で意図的に簡略化されたものではありますが、この演習は、セキュリティ対策の不十分なAIアシスタントがいかに元々の制約を無視するよう仕向けられ得るかを示しています。
間接的プロンプトインジェクションはさらに大きな懸念を呼ぶ
2つ目のデモは、一部のセキュリティ専門家が間接的プロンプトインジェクションをより重大な企業リスクと見なす理由を浮き彫りにしています。
チャットボットを直接攻撃するのではなく、Robertson氏はAIアシスタントがアクセスを許可されている外部データソース——このケースではカレンダーの予定——の中に悪意ある指示を仕込みます。
その後、別のユーザーがアシスタントに今後の会議の要約を依頼すると、この悪意ある指示は気づかれないまま信頼できるコンテキストとして取り込まれ、AIが機密の販売情報を漏洩させてしまいます。
直接的なプロンプトインジェクションとは異なり、攻撃者はエクスプロイトが実行される瞬間にその場にいる必要がありません。
AIアシスタントとやり取りする従業員であれば誰でも、無自覚のうちに攻撃を引き起こしてしまう可能性があり、これが企業データソースに接続されたAIエージェントにとって間接的プロンプトインジェクションを特に危険なものにしています。
AIへの攻撃はプロンプトインジェクションにとどまらない
AIセキュリティに関する議論の多くでプロンプトインジェクションが中心的に語られていますが、これは新たに台頭する脅威のうちの一つのカテゴリーに過ぎません。
企業は、次のようなリスクにも直面しています。
- データポイズニング:攻撃者が学習用データや検索用データを操作し、モデルの出力に影響を与える手法。
- モデル反転・抽出:機密の学習データの復元や、独自のAIモデルの複製を試みる手法。
- ジェイルブレイク:慎重に作り込まれたプロンプトによって、モデルの安全対策を回避する手法。
- AIを悪用したフィッシング・ソーシャルエンジニアリング:生成AIを用いて、ますます説得力のあるパーソナライズされた攻撃を作り出す手法。
- 悪意あるAIエージェント:企業のアプリケーション、API、クラウドサービスと自律的にやり取りできる能力を持つもの。
企業がAIシステムを機密性の高い業務データや業務フローに接続する動きを強める中、こうした連携部分の脆弱性がもたらす影響は、チャットボットの不正確な応答にとどまらない、はるかに深刻な結果につながりかねません。
AIセキュリティは、まず技術を理解することから始まる
Robertson氏は、AIを恐れるべき対象としてではなく、理解すべき対象として捉えるべきだと強調しています。
過去に企業がクラウドコンピューティングなど大きな技術転換に適応してきたのと同様に、防御側は今、AIシステムとその能力、そしてセキュリティ上の意味合いについて実践的な知識を身につける必要があります。
TryHackMeのハンズオン形式のラボは、実務者が本番環境で遭遇する前に、現実的なAI攻撃シナリオを安全に体験できるよう設計されています。
ハンズオン形式でAIセキュリティのスキルを身につけたい読者は、クーポンコードTECHADVICE30を使うことでTryHackMeを30%割引で利用することもできます。
AIの導入が加速する中、企業は進化し続けるAI脅威に対抗するため、強固なガバナンス、セキュアな開発、そして継続的なトレーニングを必要としています。
プロンプトインジェクションは、セキュリティチームが備えるべき数多くのリスクの一つに過ぎません。
ゼロトラストの原則をAIシステムにも拡張することで、プロンプトやID、データソースが侵害された際の影響を抑えることができます。
