企業は急速に AI モデルを採用していますが、多くの企業はそれらのモデルがどこから来ているのか、または途中でどのように修正されているのかについて、可視性が不足しています。
Ciscoはそのギャップを埋めることを目指して、オープンソースのModel Provenance Kitをリリースしています。これは AI モデルの出所を検証し、AI サプライチェーン全体の信頼を向上させるために設計されたツールです。
「私たちは、システムが機能的な進歩に焦点を当てていた初期インターネットと同等の AI の段階にいます」と、Cisco の AI 脅威インテリジェンス＆セキュリティ研究責任者である Amy Chang は eSecurityPlanet へのメールで述べています。
彼女は説明しました。「モデル プロベナンスは、AI モデルの系統と訓練に光を当てることができる欠けていたレイヤーとして出現しており、これは企業がそれがどこから来たのか、そして信頼できるかどうかについて知ることができます。」
Amy はさらに、「AI が規制された高リスク領域に継続して進化するにつれて、プロベナンスはガバナンス、アカウンタビリティ、および実行可能な信頼の基礎となるでしょう」と付け加えました。
AI モデル プロベナンスに対する Cisco のアプローチ
企業が第三者およびオープンソース AI モデルの採用を加速させるにつれて、モデル系統を理解することはリスク管理の基本的な要件になりつつあります。
最新の AI システムはめったにゼロから構築されず、継続的に微調整、圧縮、マージ、またはその他の方法で修正され、派生モデルのレイヤーを生成します。
各変換により、機能だけでなく、脆弱性、隠れた依存関係、およびライセンス上の義務を継承する可能性が生じます。
これらの関係を追跡する信頼できる方法がなければ、企業はコンプライアンス、インシデント対応、および全体的なサプライチェーン セキュリティにおいて増大する課題に直面しています。
Cisco の Model Provenance Kit がどのように機能するか
Cisco のModel Provenance Kitは、組織がモデルがどこから来たのか、そしてどのように関連しているのかを確認する方法を提供することで、このギャップに対処するように設計されています。
このツールはモデルの重みレベルでフィンガープリント化します。これは、モデルの動作を定義する基礎となるパラメータであり、セキュリティ チームが 1 つのモデルが別のモデルから派生しているかどうかを高い信頼度で判断できるようにします。
これを補完するために、Cisco はModel Provenance Constitutionを導入しました。これは、正当な派生関係を構成するもの、そして同様に重要なことに、そうでないものを定義する正式なフレームワークです。
重みレベルでのプロベナンスの定義
Cisco のアプローチの核は、重みレベルの派生に基づいたプロベナンスの正確で制限的な定義です。
このモデルの下では、2 つの AI システムは、訓練されたパラメータを接続する直接または間接的な因果関係がある場合にのみ関連していると見なされます。
これには、基本モデルからの微調整、教師モデルからの知識蒸留、または量子化、プルーニング、モデル マージなどの機械的変換など、一般的な開発パスが含まれています。
プロベナンスを検証可能な重み関係に固定することで、フレームワークは組織全体に適用できる一貫性のある技術的に根拠のある標準を提供します。
フレームワークが除外するもの
同様に重要なのは、フレームワークが意図的に除外するものです。
共有アーキテクチャ、重複するトレーニング データセット、または同等のベンチマーク パフォーマンスなどの表面的な類似性は、派生の証拠として扱われません。
この区別は実際に重要です。これがなければ、組織は無関係なモデルを依存的に誤って分類し、脆弱性追跡で偽陽性につながる可能性があり、不要なライセンス上の懸念につながり、ガバナンス プロセスのノイズが増加します。
真の派生と偶発的な類似性の間に明確な境界を引くことで、フレームワークはあいまいさを減らし、意思決定の精度を向上させます。
Model Provenance Constitution
Model Provenance Constitution は、直接の下降、間接的な下降、機械的変換、複数段階にわたる推移的な関係を含む、モデルが関連していると見なされる条件を明確に説明することで、このアプローチをさらに強化します。
また、独立して開発されたモデルが互いに似ているだけの場合など、一般的な誤った信号をカタログ化し、チームが誤分類を回避するのに役立ちます。
この構造化された分類法により、モデルの比較ごとに一貫した基準のセットに対して評価できることが保証されます。
AI セキュリティにおけるプロベナンスが重要な理由
このレベルの厳密さが必要とされるのは、進化する脅威の状況によるものです。
弱いモデル プロベナンスは、特にサプライチェーン攻撃の文脈において、AI 環境における成長中のリスクとして既に特定されています。
敵は、文書化が不十分なモデル依存性を悪用して、広く再利用されるコンポーネントに悪意のあるコード、バックドア、または脆弱性を導入できます。
OWASP の LLM 用トップ 10 および MITRE ATLAS などの業界フレームワークは、サプライチェーン侵害を主要な脅威ベクトルとしてハイライトしており、追跡可能性と検証の重要性を強化しています。
検証可能な証拠を通じた信頼構築
実世界の使用をサポートするために、Cisco のアプローチは仮定ではなく検証可能な証拠を強調しています。
プロベナンスは、公式なドキュメント、モデル チェックポイントの技術的検証、または権限のある第三者分析を通じて確立できます。
操作可能なメタデータまたは命名の代わりに重みレベルの検証に依存することで、フレームワークはモデルの出所を隠すしようとするのを防ぐのに役立ちます。
これらの機能とともに、組織はモデル依存性の可視性を向上させ、AI サプライチェーン リスク管理のための強い基礎を持つことができます。
AI モデル リスクを軽減する方法
企業が AI を重要なビジネス プロセスに統合するにつれて、モデル リスク管理はコア セキュリティの優先事項になりつつあります。
AI システムは、リスク削減に対するより包括的なアプローチを必要とする データ、依存性、および動的な動作全体にわたって新しい課題をもたらします。
これらのリスクに対処するには、開発から展開および運用までの AI ライフサイクル全体にわたるセーフガードが必要です。
- 系統を検証し、第三者モデルを検証し、モデルを管理された依存性として扱うことで、モデル プロベナンスおよびサプライチェーン管理を実装する。
- モデルの出所、変換、および NIST AI RMF などのフレームワークに合わせたリスク分類の文書化を必要とする強力なガバナンス ポリシーを確立する。
- トレーニングおよび推論パイプラインを保護し、データ漏洩を防止し、中毒リスクに対してデータセットを検証することで、AI ライフサイクル全体のデータを保護する。
- 最小権限と ゼロトラスト の原則を使用して、モデルと相互作用するすべてのユーザー、API、およびシステムに対して ID およびアクセス 管理を実施する。
- モデルの動作を継続的に監視およびログして、異常、ドリフト、または改ざんの兆候を検出し、効果的なフォレンジック分析を有効にする。
- 敵対的テスト、ガードレール、出力フィルタリング、および環境の分離などのモデルおよびアプリケーション層の保護を適用して、悪用および悪用リスクを軽減する。
- AI 固有の インシデント対応計画 を開発して定期的にテストし、モデルの侵害、データ漏洩、または悪意のある出力に対する対応準備を確保する。
これらの対策は、組織がレジリエンスを構築し、AI モデル リスクへの露出を軽減するのに役立ちます。
AI サプライチェーン リスクの上昇
Cisco の Model Provenance Kit は、組織が AI リスク管理にアプローチする方法の継続的なシフトをハイライトしています。
AI システムがより モジュール化され相互接続されるようになるにつれて、ソフトウェア サプライチェーンの従来の概念は、モデル、データセット、およびトレーニング パイプラインを含むように拡張されています。
この環境では、セキュリティを維持し、コンプライアンス努力をサポートし、運用上の信頼を構築するために、明確なプロベナンスを確立することはますます重要です。
モデルがどのように開発および関連しているかについての可視性がなければ、組織は依存性を特定し、リスクを評価し、潜在的に継承された脆弱性を管理する際に課題に直面する可能性があります。
これらの課題は、組織が AI 環境全体のシステム、データ、および依存性を継続的に検証するのに役立つ ゼロトラスト の必要性を強化しています。
