米政府機関、暴走するAIエージェントへのインシデント対応の実践指針を公表

複雑なエージェント型システムを効果的かつ効率的に使いこなすことはあらゆる組織にとって重要ですが、そうしたシステムの 暴走 を見抜き、防ぎ、そこから復旧することは、組織の存続にかかわる必須事項になりつつあります。

NIST、NSA、CISAは、AIエージェントが予期せぬ有害な動作をする可能性が高まっていると認識しています。これを受け、そうした動作への備えと対応に向けた重要プラクティスの一覧を公表しました。報告書(Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation)は、大統領令14434にならい、人工知能(AI)ではなく「超知能(SI)」という用語を用いています。

この報告書では、10の重要プラクティスを「準備」「検知」「対応」「復旧」「報告」の5段階に分類しています。また、わかりやすさを考慮し、AIエージェント、AI制御インシデント、AI制御ニアミスの3つの用語についても定義を示しています。

3機関は「これらのプラクティスは、最先端のSI業界が、SIシステムが意図どおり、あるいは許可されたとおりに動作しないインシデントを防ぎ、備え、迅速に対応できるようにすることを目的としています」と説明しています。

「準備」には、資産とリスクの棚卸し、多層防御、最小権限、ゼロトラスト制御、認証情報の管理、サプライチェーンのリスク管理などが含まれます。

「検知」では、正しい動作が保たれているか、異常な活動や侵害の兆候がないかを継続的に監視する必要があります。

「対応」では、影響を受けたシステムの隔離、認証情報の無効化、侵害された環境の再構築、被害範囲の特定に加え、悪用された個別の脆弱性にとどまらない根本原因分析を行います。 

「復旧」では、復旧手順を事前にテストしておくこと、復旧に関する判断と、受け入れた残存リスクを文書化することが求められます。

「報告」の要件は3つあります。影響を受けるすべての関係者に報告すること、法律で義務づけられている場合は報告すること、そして広く一般に公表することです。

どの段階やプラクティスも、他より重視されているわけではありません。5つの段階は、あくまで一体の目標として扱うべきだとされています。複雑なエージェントはいずれも、暴走して危険になりかねない不正な動作を引き起こす可能性があります。10のプラクティスを組み合わせることで、組織は複雑なエージェント型システムのために安定した効果的な環境を整えられます。問題を早期に検知し、効果的な運用を維持できる環境です。 

最後の2つ（「報告」段階の9番と10番）だけは、インシデントへの備えと対応という技術的な手順の範囲を超えています。

1つ目の「政府への通知」は、法的な義務となる場合があります。報告書は「CISA、法執行機関、サイバー防衛組織へのサイバーセキュリティインシデント報告義務を含め、適用される法的な報告要件を順守すること」としています。

最後の「情報の一般公開」は、サイバーセキュリティ全般で広く推奨される良い慣行であり、すべての関係者の利益になります。報告書は「適切な場合には、可能な限り早い段階で詳細を公表すること」「インシデントへの対応として採用した、またはエコシステム内の他の関係者の役に立ちうる重要なプラクティス、教訓、改善策を特定し、公表すること」と記しています。

この文書の価値は、AIエージェントのガバナンスに関する新しい情報や未知の情報を示すことにあるわけではありません。セキュリティ担当者が、エージェントを最大限に活用しつつ、エージェント関連のインシデントを最小限に抑え、そこから復旧するために使える、明快で網羅的なチェックリストを提供している点にあります。