AI コンプライアンスを最終的な「チェックボックス」ステップとして扱うことは失敗しています。対応を続けるには、ガバナンスをエンジニアリングパイプラインに直接組み込む必要があります。
私はセキュリティ製品にコンプライアンスを組み込むのに長年を費やしてきました。FedRAMP および防衛総省インパクトレベル認可、脆弱性管理パイプラインー それらはすべて同じパターンに従います。製品を構築してから、それが要件を満たしていることを証明します。コンプライアンスレイヤーはエンジニアリングワークフローの外に位置しています。既に存在するものをレビューしています。
そのモデルは、監査の間、製品が静的なままであるときに機能していました。AI の場合、それは壊れます。
AI システムは基本モデルが変わらなくても変わります。検索インデックスは一晩で更新されます。新しいツールがエージェントのアクションスペースに追加されます。火曜日に合格した評価は、木曜日にシステムが何をするかをもはや反映していません。コンプライアンス・アズ・レビューのアプローチは、レビューサイクル間で見直しているものが変わらないままであると想定しています。AI の場合、その仮定は根本的に間違っています。私が話している大ほとんどの組織は、従来のソフトウェアを管理するのと同じ方法で AI を管理しようとしています。それを構築し、それを発送してから、法務に箱をチェックするよう求めます。AI の場合、変更される可能性が最も高いことについてはリリースプロセスが盲目になります。
私の新刊「中国の AI エコシステム」に関する本の研究を始めたとき、他の国がこの問題を処理する方法を調べたところ、私の仮定に異議を唱えるものを発見しました。中国の AI 企業は、ガバナンスをモデルが機能した後に通過するゲートとして扱っていません。彼らはそれをリリースインフラストラクチャとして扱っています。デプロイメントパイプライン自体に組み込まれたコンプライアンスチェックポイント。チェックポイントのクリアランスなし、製品の起動はありません。ガバナンスレイヤーは製品をレビューしません。それは製品の一部です。
私が参加した 1 つの AI デプロイメント レビューでは、製品チームは起動ミーティングが通常報酬を与えるもののすべてを持っていました。パフォーマンス メトリクス、顧客のユースケース、レイテンシ数値、および確定されたリリース日付。欠落している部分は誰のチェックリストにもありませんでした。モデルに供給される検索インデックスの現在のパイプライン生成レコードを指すことができる人はいませんでした。出力監視のしきい値を所有している人は誰もいませんでした。モデル評価結果を実行可能なリリースゲートに結び付けている人は誰もいませんでした。チームはガバナンスを無視していませんでした。ガバナンスは単に実際のリリースプロセス内に住む場所がありませんでした。
審査レイヤーは既に失敗しています
そのシーンは珍しくありません。ガバナンスがエンジニアリングワークフローの外に存在する場合、それは配信タイムラインと競争します。配信タイムラインは毎回勝ちます。NIST AI リスク管理フレームワークは、AI リスクのコア機能として管理、マップ、測定、管理を特定していますが、これらの機能がリリースプロセス内のどこに座るかは規定していません。これにより、ハード アーキテクチャの質問がセキュリティ組織に任されます。ほとんどの企業は自分たちが知っていることをデフォルトにします。従来の IT コンプライアンスから借りた定期的なレビュー サイクル。そのサイクルは監査の間に静止しているシステム用に設計されました。
AI システムは静止していません。前四半期の顧客データで微調整されたモデルは、今四半期のデータがパイプラインに入ると、異なる出力を生成します。検索拡張生成システムは、今日のインデックスに座っているドキュメントと昨日のドキュメントに応じて異なる回答を返します。 3 つのモデルをチェーンした エージェント的ワークフローは、単一モデル評価が捉えない創発的行動を生成します。ガバナンス・アズ・ペリオディック・レビューは、レビュー対象の成果物が変わらない世界のために構築されました。継続的に変わる成果物を展開しています。
AI システムが進化する速さとレビューレイヤーのガバナンスサイクルが動作する遅さの間のギャップは、コア脆弱性です。毎週そのギャップが広がるにつれて、組織は最終的に自分たちの条件で、または規制当局の条件で返済する必要があるガバナンス債務を蓄積します。
実際のリリースインフラストラクチャの様子
中国の AI デプロイメントプロセスを研究したとき、企業を遅くする重い承認システムを見つけることを期待していました。反対を見つけました。
中国は生成 AI をデプロイしている企業に、製品が消費者に到達する前に規制申告を完了することを要求しています。申告には、トレーニングデータソース、コンテンツセーフティメカニズム、出力制御、およびユーザーに面するディスクロージャーのドキュメントが必要です。プロセスをクリアしている企業が発送します。そうでない企業は待ちます。
私を驚かせたのはスピードでした。バイドゥは 2023 年 8 月 31 日に Ernie Bot を一般に公開しました。中国の生成 AI ルールが有効になってから 16 日後です。数十の企業が数週間以内に続きました。申告プロセスは展開を停止しませんでした。合格するための証拠機械をすでに構築した企業によって企業をソートしました。コンプライアンスを最後のマイル法務演習として扱う企業は遅れをとりました。
その発見は西側のセキュリティ リーダーにとって重要です。中国の規制モデルを複製することはできません。ただし、基本的な運用上の問題は同じです。EU AI Act は、異なる規制伝統からの同じ結論に到達します。高リスク AI システムの適合性評価と継続的なリスク管理要件は、1 回限りの認証ではなく継続的なコンプライアンスを想定しています。両方のフレームワークが共有する運用上の質問は、私自身の仕事で直面している質問と同じです。ガバナンスは実際に開発プロセスのどこに住んでいますか？答えが「モデルがトレーニングされた後、発送される前」である場合、審査層のボトルネックを再作成しました。エンジニアリング チームは回避方法を見つけます。
私は SBOM と同じパターンを見ました。チームが SBOM をドキュメントとして扱う場合、誰かが顧客質問票用に組み立てたもので、それはほぼ即座に時代遅れになりました。ビルド パイプラインから生成したとき、それは製品のリビング オペレーティング レコードの一部になりました。モデル ドキュメントは同じ方法で移動する必要があります。リリース後に手書きされたモデル カードはスナップショットです。パイプラインから生成されたモデルカードは証拠です。
セキュリティ リーダーが今すぐ実施すべき 3 つのシフト
私は自分の仕事と、AI デプロイメント準備を評価するチームをどのようにアドバイスするかで、この原理を適用し始めました。3 つの運用上のシフトが違いを生みます。
まず、モデル ドキュメントを CI/CD パイプラインに移動します。モデル カード、トレーニング データ系統記録、出力動作ベースラインを SBOM と同じ方法で扱います。ビルド プロセス中に自動的に生成されるアーティファクトとしてであり、事後にコンプライアンス アナリストが作成したドキュメントではなく。モデル ドキュメントがコードと一緒にバージョン管理されていない場合、それは既に時代遅れです。更新されたコンプライアンス アーティファクトを生成しないモデル再トレーニング サイクルはすべて、ガバナンス ギャップを拡大します。
次に、コンプライアンス証拠を起動後監査アイテムではなくデプロイメント ゲートにします。リリース パイプラインは、単体テストが失敗した場合、またはコンテナ イメージに重大な脆弱性が含まれている場合、おそらく既にデプロイメントをブロックしています。AI ガバナンス チェックポイントを同じパイプラインに追加します。モデルは組織で定義されたしきい値に対して現在のリスク評価を持っていますか？トレーニング データの系統は文書化され、追跡可能ですか？出力制御は設定、テスト、監視されていますか？いずれかの回答がいいえの場合、デプロイメントは進行しません。パイプラインは既に脆弱なコンテナをブロックしています。AI ガバナンス チェックポイントは同じレイヤーに属しています。新しいリスク クラスをカバーするために既存のセキュリティ アーキテクチャを拡張しています。
AI システムが推奨事項の生成を停止して、アクションの実行を開始すると、問題はより鋭くなります。3 番目に、エージェント ID を第一級のセキュリティ制御として扱います。AI エージェントが本番環境に移動するにつれて、それぞれのエージェントは IAM システムに ID が必要であり、スコープ指定されたアクセス許可、監査証跡、セッションレベルのアカウンタビリティが必要です。外部 API を呼び出し、顧客データを読み取り、自動ワークフローをトリガーするエージェントは、環境内のアクターです。人間のユーザーとサービス アカウントに適用する同じ ID ガバナンスが必要です。私はステルス ランサムウェア操作における ID と永続化の課題について今年 CSO ここで書きました。同じ原理が適用されます。アクターを識別できない場合、アクションを管理することはできません。
このいずれも規制を待つ必要はありません。AI 固有のコンプライアンス命令が到着したときに最高の位置にある組織は、EU AI Act の実施タイムライン、コロラド州とカリフォルニア州の新しい米国州レベルの法律、または金融およびヘルスケア規制当局からのセクター固有のルールから、今すぐリリース インフラストラクチャにガバナンスを構築している組織です。それを最初にこの問題を解決した非常に異なるシステムを研究することによってその教訓を学びました。規制の伝統は異なっています。運用上のロジックは同じです。製品と一緒に出荷されるガバナンスは、その後にレビューするガバナンスを打ち負かします。
この記事は Foundry Expert Contributor Network の一部として公開されています。
参加したいですか？
