NIST、AIエージェントのより強固なセキュリティ確保に向け一般からの協力を要請

米国国立標準技術研究所（NIST）は、政府および重要インフラのネットワーク全体で利用が拡大し、潜在的リスクも増大する中、エージェント型人工知能システムをどのように安全にするかについて、一般からの意見募集を行っている。

木曜日に公表された通知で、NISTのAI標準・イノベーションセンターは情報提供要請（RFI）を発出し、エージェント型AIシステムに関連するセキュリティリスクと緩和戦略について、業界、研究者、システム運用者に意見を求めた。同研究所はAIエージェントを、1つ以上の生成AIモデルと、計画立案および裁量的な行動を可能にする足場（スキャフォールディング）ソフトウェアを組み合わせたあらゆるAIシステムの展開形態として定義しており、場合によっては複数の連携したサブエージェントを介することもある。

エージェント型AIシステムは、従来のソフトウェアや非エージェント型AIツールとは大きく異なるセキュリティリスクをもたらし得る。エージェント型システムは、乗っ取り、バックドア攻撃、その他の悪用に対して脆弱となり得て、公衆の安全を損ない、消費者の信頼を低下させ、高度なAI技術の採用を抑制する可能性がある。

セキュリティリーダーらはInformation Security Media Groupに対し、連邦機関がGenAIや新興技術の能力を、それらを保護するために設計された統制よりも速いペースで展開しているため、こうしたリスクはすでに現実化しつつあると語った。Qualysでサイバー脅威インテリジェンス担当のプリンシパル・プロダクト・マネージャーを務めるApril Lenhard氏は、AIの脆弱性が現実のインシデントでますます目に見える形になっていると述べた。

「連邦政府のAIセキュリティの次の段階は、アラートを追いかけることから、ミッション主導のリスク管理へと移行することだ」とLenhard氏は述べた。データ汚染、プロンプトインジェクション、モデルドリフトといったリスクに対する統制なしにGenAIやAI分析を導入する機関は、「攻撃者がアラートを書き換えたり、機微データを流出させたり、さらには防御を無効化したりする可能性に、自らをさらしている」という。

NISTの要請では、データ汚染や間接的なプロンプトインジェクション、意図的に仕込まれたバックドアを伴うモデルが配備されるリスクなど、エージェント型AIシステムの非安全な利用に関連するさまざまな潜在的脅威が説明されている。同機関は、侵害されていないモデルであっても、仕様の抜け穴を突く行為（specification gaming）や不整合な目的の追求により、機密性・完全性・可用性を脅かす振る舞いをする可能性がある点を懸念として挙げた。

NISTは、この情報提供要請は、高影響の政府機能に深く組み込まれる前にAIエージェントシステムをより安全にするための技術ガイドライン、評価手法、ベストプラクティスの策定に役立てることを目的としていると述べた。通知では現在の緩和手法が説明されており、エージェント型AIが追加の統制を要する新たな課題をもたらす一方で、最小権限やゼロトラスト・アーキテクチャといった確立されたサイバーセキュリティ原則に基づくものもあるとしている。この新技術には、ツール使用の制限、より厳格なデータ境界、モデル挙動の継続的監視が必要となる可能性がある。

NISTはまた、クラウド、オンプレミス、エッジシステムなどの展開環境によってセキュリティリスクがどのように異なるか、さらに複数モデルにまたがって行動を調整するマルチエージェント・システムを導入することで増す複雑性についても意見を求めている。

今回の要請は、ホワイトハウス政権が過去1年で連邦機関全体におけるAI活用を急速に拡大し、ミッション支援、分析、サービス提供のための生成AIおよびエージェント型AI能力の採用を加速させることを目的とした、機関横断の実験的イニシアチブやパイロットプログラムを展開してきた中で行われた。これらの取り組みには、重複を減らしつつAI展開を強化することを狙った、共有サービス型のイニシアチブも含まれている（参照: 中国、AI、そして連邦の後退が2026年のサイバー課題を形作る）。

関係者は3月9日までに、regulations.govを通じて回答を提出できる。