120を超えるテック企業・団体からなるグループが、エージェント型AIの脅威に焦点を当てた新たな情報共有構想の計画を公表しました。
NVIDIAのOpen Secure AI Allianceの参加企業は、8月4日にShared AI Findings Exchange(SAFE)の詳細を発表しました。
同日公開されたブログ記事の中でLinux Foundationは、現在多くの組織がAIセキュリティインシデントを自社内だけで調査しており、その結果、本来価値のある情報が外部に共有されないまま埋もれてしまっていると説明しています。
「AIの運用上の失敗を非公開で共有し、繰り返し発生する制御上の不備を特定し、そこから得た教訓をエコシステム全体で再利用可能な防御ガイダンスへと落とし込むための、広く採用されたコミュニティ主導の枠組みは現状存在しません」と同記事は続けています。
「SAFE構想は、業界がこの議論を前進させるための協力体制を築く一助となることを目指しています」
AIの脅威に関する関連記事: AIエージェントが企業の攻撃対象領域を最速で拡大させる存在に
Linux Foundationによれば、この構想の狙いは、既存の法的・契約上・規制上の義務を尊重しつつ、責任追及や強制ではなく共同学習に主眼を置くことにあります。
推進団体は、コミュニティ全体でSAFEのガイドラインを共に策定できるよう、公開RFP(提案依頼書)を発表しています。
現時点の草案は、次の原則に基づいて構成されています。
- AIセキュリティインシデントおよびニアミス(未遂事例)の非公開報告
- 影響を受けた組織への迅速な通知
- 共同学習を主眼とした協調分析
- モデル、セーフガード、ツール、実行環境、監視、人的運用、サプライチェーン依存関係を含む、AI運用スタック全体にわたる体系的なレビュー
- 組織が実装・検証できるエビデンスに基づく運用ガイダンス
- AIエコシステム全体の関係者を代表する独立したガバナンス体制。単一のベンダーがグループの調査結果を左右できないようにする
このグループのプロセスは、オープンソースのAIシステムと独自開発のAIシステムの双方に等しく適用されるよう設計されています。
「本提案では、適切な場合にはSAFEが再利用可能なテスト、機械可読なポリシー、検知ルール、参照構成、インシデント対応ガイダンスを公開することも想定しており、新たに出現するAI脅威に合わせて進化し続ける防御策のカタログを共同で構築することを目指しています」とブログ記事は続けています。
高まるエージェントのリスク
Linux Foundationの投稿ではAIエージェントについて具体的な言及はありませんが、SAFEを発表したNVIDIAのブログ記事では、この構想を「エージェント型サイバーセキュリティインシデントをより優れた防御へと転換する」ものであると明確に位置付けています。
これはまさに、AI技術が意図しない結果を招く可能性が最も高いと見られる領域です。
OpenAIとAnthropicのいずれのモデルも、最近のテストにおいて実在の標的を攻撃していたことが確認されています。
まさに今週、英国のAI Security Institute(AISI)は、両社のモデルが実在の人物や組織を標的として「継続的かつ潜在的に有害な活動」に関与していたと報告しています。
Suzu LabsでシニアディレクターとしてセキュアAIソリューションおよびサイバーセキュリティを担当するJacob Krell氏は、既存の脆弱性開示の仕組みがAIエージェントのモデルには適合しないため、SAFEが必要とされていると主張します。
「モデルが本来到達すべきではないアクセス権を発見し悪用した場合でも、発行すべきパッチも公開すべき脆弱性識別子も存在しません。エージェントの不具合は多くの場合、挙動レベルのものであり非決定的であるため、一致させるべきシグネチャも展開すべき修正も存在しないのです」と同氏は付け加えています。
「最も価値が高いのは、ニアミス(未遂事例)の情報です。侵害が起きればニュースの見出しを飾りますが、境界線を探ってみて失敗に終わったエージェントの動きが公表されることはありません。しかし、まさにその挙動パターンこそ、同様のシステムを運用する他の組織が必要としているインテリジェンスなのです。SAFEは、そうした本来なら埋もれてしまう情報を共有するためのチャネルを生み出します」
Black Hills Information Securityの研究者であるJeremiah Fowler氏も、この発表を歓迎しています。
「実世界のエビデンスを提供する組織が増えるほど、新たに出現する攻撃パターンや共通の脆弱性、進化し続ける脅威をより効果的に特定できるようになります。同時に、貴重な時間とリソースを浪費する防御活動の重複も減らせます」と同氏は主張しています。
「AIが日常生活やビジネス運用、重要インフラへの組み込みをますます深めていく中で、インシデント発生後に事後対応で防御策を後付けするのではなく、今のうちから標準化されたセキュリティガイダンスを策定しておくことは、先を見据えた投資と言えます」
翻訳元: https://www.infosecurity-magazine.com/news/safe-initiative-agentic-threat/
