NCSCがエージェント型AIシステムに対しより強固な制御を要請

英国の国家サイバーセキュリティセンター(NCSC)は、自律型AIエージェントを導入する組織に対し、意図しない行動や悪意ある活動の影響を抑えるため、サンドボックス化、人間による監督、そして厳格に制御されたアクセス権限の導入を求めました。

同機関は、AIモデルが許可されていない、あるいは意図しない活動を実行する事例が複数発生したことを受け、エージェント型AIシステムを構築・運用する組織向けに暫定的な実践ガイダンスを公表しました。NCSCによると、正式なガイダンスは現在も策定中であり、8月20日に公開されたブログ記事は最終的にこの正式ガイダンスに置き換えられる予定です。

今回のアドバイスは、エージェント型AIの安全な利用に関するこれまでのNCSCガイダンスを踏まえたものであり、各組織がますます自律性を増すシステムに対応するガバナンス体制の整備を続けている状況の中で発表されました。

サンドボックス化でエージェントのアクセスを制限

NCSCは、企業に対しまずシステムに実際どの程度の自律性が必要かを見極め、導入前に何が問題となり得るかを特定するよう推奨しています。組織はエージェントのプロンプト、ツール、ネットワーク、アクセス可能なサービスについて脅威モデリングを行い、その結果をもとに追加でどのような制御が必要かを判断すべきだとしています。

同機関は、基盤となるモデルやエージェントフレームワークに組み込まれた保護機能だけに依存すべきではないと述べています。こうした制御は回避される可能性があるほか、リスクの高い環境では不十分となる場合があるためです。

リスクの高い導入形態については、NCSCは堅牢なサンドボックス内でエージェントを稼働させ、アクセス権限をタスクに必要なリソースのみに制限するよう推奨しています。

同ガイダンスでは、可能な限りデフォルトで接続を拒否するネットワーク制御を採用し、必要な接続についてはアローリストやサービスを認識するプロキシを併用することを求めています。

同機関はまた、可能であればエージェントの実行環境、それを支えるインフラ、推論サービスを分離するよう助言しています。エージェントが自らの技術的制御における設定上の弱点や脆弱性を発見してしまう可能性があり、これがサンドボックスからの脱出リスクを生み出すと警告しています。

監督と認証情報には明確な境界が必要

NCSCは、各エージェントに個別のIDを割り当て、付与する認証情報はそのタスクに必要なものに限定し、可能な限り有効期限の短い認証情報を使用するよう推奨しています。また組織は、APIキー、OAuth権限付与、SSHキー、認証済みセッションを、エージェントが引き起こしうる被害範囲(「ブラストラジアス」)の一部として考慮すべきだとしています。

組織はまた、リスクの高い活動については人間による監督を維持し、エージェント運用の責任者を明確に定め、リアルタイムでの監視を行い、予期しない挙動が発生した際に介入できる体制を整えるべきだとしています。

エージェント型AIセキュリティについてさらに詳しく: OWASPがエージェント型AIセキュリティ成熟度フレームワークを発表

NCSCは、エージェントの活動をセキュリティ運用およびインシデント対応の一環としてログに記録し、監視すべきだとしています。さらに、必要な場合には自律的な活動を即座に停止できる体制を確保し、ネットワークアクセスやモデルインフラとの通信を制限できるようにしておくべきだとも助言しています。

同機関は、このアドバイスは技術の進化とともに更新されていくべきものであり、組織はエージェントに与える自律性がそのリスク許容度に対して適切であるかどうかを定期的に見直すべきだと述べています。