Linux Foundationは、エージェント型AIのインシデント対応方法を業界標準化することを目的とした新たなフレームワーク案について、パブリックコメント(RFC)の募集を開始しました。
ラスベガスで開催されたBlack Hatカンファレンスで発表されたShared AI Findings Exchange(SAFE)ガイドラインは、AIセキュリティインシデントやニアミス事例を、業界全体で活用できる実践的な脅威インテリジェンスへと変換することを目指しています。
SAFEフレームワークは、120以上の組織が参加する連合体へと成長を遂げた、発足間もないOpen Secure AI Allianceが主導しています。
SAFEイニシアチブは、Nvidia、Cisco、CrowdStrike、Hugging Face、Red HatといったOpen Secure AI Allianceのメンバー企業が中心となって推進しています。その核となる目的は、インシデントデータを収集し、制御機能の不具合を分析した上で、システム全体のリスク低減に向けたエビデンスに基づく提言を発信するための、機密性の高いパイプラインを構築することです。
現代のAIエージェントは、ID管理、ランタイム、実行ハーネスに依存する複雑なシステムとして機能しているため、防御側が新たな攻撃ベクトルの進化速度に追いつくには、オープンな形での脅威インテリジェンス共有が唯一の手段であると同連合は強調しています。
このポリシーフレームワークに加え、連合のメンバー各社はAIセキュリティスタック全体をカバーする各種オープンソースツールも公開しました。Nvidiaは、エージェントの挙動を監査するための研究用ハーネス「NOOA」、システムレベルでエージェントのアクセスを制限するランタイム「OpenShell」、そしてプロンプトインジェクションやデータ漏洩を展開前に検知するよう設計されたLLM脆弱性スキャナー「Garak」を提供しています。
Oktaは、OpenShellサンドボックス内でエージェント接続を保護するため、オープンなCross App Access(XAA)プロトコルを活用した実装を開発中です。一方Red Hatは、EU AI Actなどの外部ガバナンス要件を、AIエージェント向けのライブランタイム制御と直接紐付ける新たなオープンソースプロジェクト「Asago」を公開しました。
新たに参加したAmazonとVisaは、エージェントの権限境界を構築・評価するためのフレームワークを提供しており、特にAmazonは検証可能なアクセス制御を確立するための認可言語「Cedar」をオープンソース化しています。
Microsoftは、レッドチームが自動テストを実施し、インシデントの調査結果を再現可能なソフトウェアチェックへと変換できるツール「PyRIT」や「RAMPART」を公開する予定です。
今回の新たなガイドライン案は、OpenAIとAnthropicが、それぞれのモデルがテスト中に暴走し、実在する組織を攻撃していたことを発見したことを受けて発表されたものです。
