出典: imageBROKER.com via Alamy Stock Photo
コメント
人工知能（AI）は、金融サービスやオンライン商取引などの業界で10年以上にわたり導入されてきましたが、 大規模言語モデル (LLMs)の導入により、産業を再構築する能力で現在の注目を集めるようになりました。今日、AIはあらゆるセクターで止められない力として広がっています。
しかしながら、セキュリティは依然として展開後の機能と見なされることが多いです。通常、AIシステムを従来のソフトウェアのように扱う従来のサイバーセキュリティコントロールを「後付け」することで対処されますが、このアプローチは根本的に欠陥があります。AIは独自の新しいセキュリティリスクをもたらすからです。
決定論的で予測可能なシステム向けに設計された一般的なセキュリティツールは、生成的およびエージェント型AI技術の動的で確率的な性質に直面すると不十分です。AIの本質的な非決定論は、同じ入力が異なる結果を生む可能性があることを意味し、脅威の検出と対応を複雑にします。その結果、データポイズニング、プロンプトインジェクション、モデルのデシリアライズなど、AIに特有の攻撃は、従来のセキュリティ製品を簡単に回避することができます。
代わりに、組織は セキュア・バイ・デザイン原則 を採用する必要があります。これは、サイバーセキュリティおよびインフラストラクチャセキュリティ庁（CISA）によって作成されたセキュリティへのプロアクティブなアプローチであり、AIシステム開発のすべての段階でセキュリティが統合されています。
AIセキュリティにおけるリアクティブアプローチが失敗する理由
AIシステムは、動的な適応性、広範で頻繁に更新されるデータセットからの継続的な学習、そして本質的に確率的な意思決定によって特徴付けられます。この非決定論的な性質は、攻撃者がますます専門的な方法で悪用する独自の脆弱性を生み出し、それぞれがターゲットを絞った高度な防御戦略を必要とします:
-
データポイズニング: 攻撃者はトレーニングデータセットに微妙に悪意のある入力を挿入し、結果として出力が損なわれます。例えば、コンテンツモデレーションAIが問題のあるコンテンツを見逃すように誤ってトレーニングされ、その核心的な目的を損なう可能性があります。
-
プロンプトインジェクション攻撃: 巧妙に作られた入力がAIの安全ガードレールを回避し、許可されていないまたは有害な行動を引き起こす可能性があります。エージェント型AI—タスクを自律的に実行するシステム—は特に脆弱であり、攻撃者は一見無害なやり取りに隠れたコマンドを埋め込むことができます。
-
モデルデシリアライズ攻撃: 悪意のあるコードがシリアライズされたAIモデル内に埋め込まれ、モデルが本番アプリケーションに統合された際にアクティブ化されます。
リアクティブセキュリティは、AIの行動が予測不可能で急速に進化するため、これらの脅威を適切に検出または軽減することができません。脅威が検出された時点で、すでに重大な損害が発生している可能性があります。
関連:MathWorks、MATLABのクリエーター、ランサムウェア攻撃を確認
AIライフサイクルへのセキュリティの組み込み
セキュア・バイ・デザインは戦略的な転換を表しており、AIに特化したDevSecOpsの拡張である機械学習セキュリティオペレーション（MLSecOps）を取り入れています。この新しいタイプのセキュリティ戦略は、アプリケーションのライフサイクルのすべての段階で脆弱性が体系的に対処されることを保証します:
-
スコープと脅威モデリング: 潜在的な脅威を早期に特定することで、AIシステムアーキテクチャにセキュリティコントロールが組み込まれることを保証します。これには、プロンプトインジェクションやサプライチェーンの脆弱性など、特定のAI攻撃ベクトルを詳細に説明する OWASPの2025年版LLMのトップ10やMITRE ATLASによって強調されたリスクを理解することが含まれます。
-
データ準備: データ検証と整合性チェックを含む堅牢なデータガバナンスを確立することで、毒されたデータセットがAIパイプラインに入るのを防ぎます。差分プライバシーや暗号化などの技術は、情報漏洩から機密情報を保護します。
-
モデルのトレーニングとテスト: 安全なコーディングプラクティス、敵対的な堅牢性評価、および継続的なレッドチーム演習を実施することで、モデルがライブになる前に脆弱性を積極的に検出し、軽減します。動的モデルスキャナーやAI対応のペネトレーションテストなどのAI特有のツールは、モデルに隠れた弱点を表面化させるために体系的に挑戦します。
-
展開と継続的な監視: モデル署名や包括的なログ記録などの安全な展開戦略は、展開後の整合性を維持します。AI対応の監視システムは、モデルのドリフト、行動の異常、および許可されていない横方向の動きを追跡し、潜在的な脅威の早期警告を提供します。
トップからのリーダーシップ
プロアクティブなセキュリティには、標準的なCISOレベルの監督を超えたエグゼクティブのコミットメントが必要です。リーダーシップは、AI開発に関与するすべてのチームに責任を埋め込むことで、セキュリティを組織の核心的価値として積極的に推進しなければなりません。セキュリティコントロール、モデルの系譜、および継続的な脆弱性評価の透明な文書化は、情報に基づいた監督と新たな脅威への迅速な対応を可能にします。
技術およびビジネスのステークホルダーで構成される「AIセキュア・バイ・デザイン」評議会を設立することで、すべてのAIイニシアティブにわたる統一された持続的なセキュリティコミットメントを確保します。エグゼクティブは、AIセキュリティへの投資をビジネス成果に明確にリンクさせ、セキュリティの重要性をコンプライアンスのチェックボックスではなく戦略的な目標として強化するべきです。
セキュア・バイ・デザインAIツールと技術
AIの独自の脆弱性を軽減するには、組織のセキュリティプログラムに特化したAI技術を統合する必要があります。これには以下が含まれます:
-
モデルスキャナーとAI脆弱性フィード: これらはモデルの脆弱性に対する継続的な可視性を提供し、AIに特有の新たな脅威に対してセキュリティチームに積極的に警告します。
-
AIレッドチーミングとペネトレーションテスト: 専門的なテストは、現実世界の攻撃シナリオでAIシステムを積極的に調査し、従来のツールでは見逃されるギャップを特定します。
-
ポリシーの施行とAIファイアウォール: セマンティックレベルの監視と施行は、リアルタイムで許可されていないAIの行動をブロックすることができ、自律システムには必須です。
-
リアルタイムのインシデントレスポンス自動化: 侵害が発生した際に、数ミリ秒以内にAIモデルを自動的に隔離または復元する能力は、影響を最小限に抑えるために不可欠です。
AIが最終的にほとんどの重要なビジネスオペレーションを支えることは間違いなく、AIセキュリティはビジネスの成功に直接影響を与える戦略的な必須事項です。AIの完全な変革の可能性を安全かつ確実に活用するには、既存のサイバーセキュリティプラクティスを段階的に強化する以上のものが必要です。MLSecOpsに基づくセキュア・バイ・デザインの方法論を実装することが最良の道です。
最新のDark Reading Confidentialポッドキャストをお見逃しなく、The Day I Found an APT Group in the Most Unlikely Placeでは、脅威ハンターのIsmael ValenzuelaとVitor Venturaが、高度な持続的脅威を追跡するために使用したトリックとその過程で発見した驚きについての話を共有します。今すぐ聴く！