比較的新しいセキュリティレイヤーであるAIセキュリティポスチャ管理（AI-SPM）は、特に大規模言語モデルの利用に関連するリスクを特定し、低減するのに役立ちます。AI-SPMは、組織全体のAI活用範囲にわたって、セキュリティやコンプライアンス上のリスクを継続的に発見、評価、修正します。
不透明なAIのやり取りを可視化し、管理可能にすることで、AI-SPMは企業が自信を持ってイノベーションを進められるようにし、AIシステムが安全で、ガバナンスが効き、ポリシーに準拠していることを保証します。
AI-SPMは安全なAI導入の鍵
AIを安全かつ責任を持って導入するために、AI-SPMはセキュリティスタックのように機能し、関連するトラフィックを監視・制御して、不正アクセスや安全でない出力、ポリシー違反を防ぎます。ビジネス全体にわたるモデル、エージェント、AI活動の明確な可視性を提供し、リアルタイムでセキュリティとコンプライアンスのチェックを行い、AIの利用が設定された制限内に収まるようにします。また、OWASP、NIST、MITREなどの公認フレームワークに準拠しています。最終的には、AI-SPMが既存のセキュリティコントロールに統合され、AI関連の運用やインシデントへのより良い検知と対応を実現することが期待されます。
OWASPのLLMトップリスクをAI-SPMで実践的に防御
オープンソースの非営利団体OWASPは、生成AIに関連するリスクを含むLLMアプリケーションがもたらす脅威のリストを公開しています。これらの脅威には、プロンプトインジェクション、データ漏洩、エージェントの悪用、設定ミスなどが含まれます。AIセキュリティポスチャ管理は、これらの複雑なリスクを実行可能な保護策に変える具体的かつ実践的な防御を提供します。AI-SPMが主要なLLMセキュリティリスクにどのように対抗するか見てみましょう：
- プロンプトインジェクションとジェイルブレイク：悪意のある入力によってLLMの挙動が操作され、安全プロトコルを回避し、有害または不正な出力を生成させることがあります。
AI-SPMはインジェクションの試みを検知し、リスクのある入力をクリーンアップし、危険なものがユーザーや外部プラットフォームに届くのをブロックします。つまり、ジェイルブレイクを防ぎ、モデルが定義されたセキュリティ境界内で動作するようにします。開発者向けには、AI-SPMがコードアシスタントやIDEプラグインを監視し、安全でないプロンプトや不正な出力を検出して、AIツールの安全な利用を促進します。
- 機密データの漏洩：LLMは、出力を通じて個人情報、財務情報、または機密情報を漏洩させ、プライバシー侵害や知的財産の損失を招く可能性があります。
AI-SPMは、送信前に入力をブロックまたは匿名化することで、機密データがパブリックモデルと共有されたり、外部モデルの学習に使われたりするのを防ぎます。異なるAIアプリケーションの計画を分離し、ユーザーの身元、利用状況、モデルの能力に基づいてルールを適用します。
- データおよびモデルのポイズニング：トレーニングデータを操作して脆弱性やバイアス、バックドアを埋め込み、モデルの完全性、性能、下流システムのセキュリティを損ないます。
AI資産を継続的に監視することで、AI-SPMはモデル開発時に信頼できるデータソースのみが使用されることを保証します。ランタイムのセキュリティテストやレッドチーム演習によって、悪意あるデータによる脆弱性を検出します。システムは、バイアスがかかった、有害な、または操作された出力など、異常なモデル挙動を積極的に特定し、本番リリース前に是正します。
- 過度なエージェンシー：自律型エージェントやプラグインが不正な操作を実行したり、権限を昇格させたり、機密システムとやり取りすることがあります。
AI-SPMはエージェントのワークフローをカタログ化し、その行動や推論経路に対して詳細なランタイム制御を適用します。機密APIへのアクセスを制限し、エージェントが最小権限の原則で動作することを保証します。自社開発のエージェントには、リアルタイムの可視性と積極的なガバナンスを提供することで、より複雑で動的なワークフローをサポートしつつ、早期に悪用を検知します。
- サプライチェーンおよびモデルの由来リスク：サードパーティのモデルやコンポーネントが、脆弱性やポイズニングされたデータ、コンプライアンスのギャップをAIパイプラインにもたらす可能性があります。
AI-SPMはAIモデルとそのバージョン履歴の中央インベントリを維持します。内蔵のスキャンツールで、設定ミスやリスクのある依存関係など、よくある問題をチェックします。モデルがコンプライアンスや検証基準などの特定のガイドラインを満たさない場合、本番環境に到達する前にフラグを立てます。
- システムプロンプトの漏洩：プロンプトに埋め込まれた機密データやロジックが露出し、攻撃者が制御を回避したり、アプリケーションの挙動を悪用したりすることが可能になります。
AI-SPMはシステムリクエストやユーザー入力を継続的にチェックし、組み込み指示の削除や変更の試みなど、セキュリティ問題につながる危険なパターンを事前に発見します。また、プロンプトインジェクションやジェイルブレイク攻撃に対する防御も行い、これらはシステムレベルのコマンドへアクセス・変更する一般的な手法です。未承認のAIツールやサービスを発見することで、システムプロンプトを漏洩させる可能性のある安全でない、または設定ミスのあるLLMの利用を阻止します。これにより、管理されていない環境を通じた機密情報の漏洩リスクが低減します。
プロンプトインジェクション／ジェイルブレイクは、細工された入力を通じてモデルを悪用することです。攻撃者や一般ユーザーが悪意のある入力を行い、モデルを意図しない動作をさせます。
システムプロンプトの漏洩は、モデルの挙動を導く内部指示（システムプロンプト）が露出または改変されることを指します。
広告。スクロールして続きをお読みください。
シャドーAI：見えざるリスク
シャドーAIは、最近注目を集め始めており、それには理由があります。シャドーITと同様に、従業員が許可なくパブリックAIツールを利用しています。これは、機密データのアップロードやガバナンスルールの回避を意味することがあり、多くの場合、リスクを認識せずに行われています。問題はツール自体だけでなく、それらがどのように、どこで使われているかの可視性がないことです。
AI-SPMは、ネットワーク、
エンドポイント、クラウドプラットフォーム、開発環境など、公式・非公式を問わず利用されているすべてのAIツールを特定し、データがそれらの間でどのように移動しているかをマッピングする必要があります。これは、露出リスクを把握する際によく抜け落ちている要素です。そこから、リスクのあるアップロードのブロック、未知のエージェントの隔離、安全なゲートウェイ経由での活動のルーティング、役割ベースの承認設定などのガードレールを設置します。
AIインタラクションのエンドツーエンド可視化
組織がAIの利用状況を把握できていない場合、検知や対応の取り組みが妨げられることがあります。AI-SPMは、プロンプト、応答、エージェントの行動などの主要データを集約し、既存のSIEMや可観測性ツールに送信することで、セキュリティチームがAI関連インシデントのトリアージやフォレンジック分析を容易にします。
AIの急速な成長は、これまでのどのテクノロジーの波よりも速く進んでいます。それは新たな脅威をもたらし、従来のツールでは管理できない攻撃対象領域を拡大します。AI-SPMはこの新領域を守るために設計されており、AIを見えざるリスクではなく明確な資産に変えます。SASEのような統合プラットフォームの一部として、または単独で導入される場合でも、AI-SPMは安全でスケーラブル、かつコンプライアンスに準拠したAI導入を実現する手段となります。
翻訳元: https://www.securityweek.com/will-ai-spm-become-the-standard-security-layer-for-safe-ai-adoption/
