5分で読めます
AIベースのセキュリティシステムのテストは容易ではありません。エージェントが不正行為を働いたり、幻覚を起こしたり、封じ込めを脱出したりするのではないかという懸念が広がる中、ある研究者グループがエージェント型防御システムの有効性をより正確に測定する方法を見つけたと主張しています。
今年に入って、AI攻撃型セキュリティのスタートアップであるDreadnodeは、2つのオープンソースツールを公開しました。ネットワークに導入されたセキュリティエージェントを評価するためのツールです。1つ目はDreadGOADで、これは再現可能なActive Directoryトレーニング環境で、同社によれば「大規模組織に今も一般的に見られる乱雑な導入環境」を再現するよう設計されています。
2つ目はAresで、攻撃・防御双方の有効性をテストし研究するために設計された、エージェント型のレッドチーム・ブルーチームシステムです。AresをDreadGOAD上で稼働させると、レッドチームエージェントはホストを発見し、脆弱性を特定し、権限を昇格させ、最終的に環境を侵害します。一方でブルーチームエージェントは、テレメトリの分析、アラートのトリアージ、活動の調査、そして願わくば侵害の封じ込めを任務とします。
これらのオープンソースツールは、セキュリティエージェントのベンチマークテストを改善しようというDreadnode社内のプロジェクトから生まれました。DreadnodeのAIリサーチサイエンティストであるマーティン・ヴェンディッゲンセン氏によると、問題は、エージェントがレッドチーム役については非常に優れた働きを見せる一方で、ブルーチーム側では同程度の能力を発揮できていないことだったといいます。
「現在フロンティアラボから出てくるモデルは、防御よりも攻撃の方がはるかに優れていることに気づきました。それも、サンドボックスを脱出したり他人のシステムをハッキングしたりしてしまうほどで、単にタスクを完了させて範囲内にとどまるということができていないのです」と同氏は述べています。
ブルーエージェントにとって不公平な戦場
Dreadnodeのチームは今年、自社の攻撃型セキュリティ技術をより優れた防御技術へと転換する取り組みを開始しました。同社は来週開催されるBlack Hat USAのセッションで研究成果を発表する予定ですが、レッドチームとブルーチームのエージェント間で自動テストを実行し、両チームをより正確にスコアリングする取り組みを始めました。目的は、単にエージェントの性能をより効果的に測定するだけでなく、本質的に不公平なこのゲームにおいて、ブルーチームエージェントが自己改善していくための土台を築くことにあります。
ヴェンディッゲンセン氏の説明によれば、エージェントにとって攻撃タスクと防御タスクはまったく性質の異なるものです。レッドチームエージェントには、例えばAD環境を侵害する手段が数多く用意されており、エンジニアにとってもタスクの成否を判断するのは容易です。しかしブルーチームの場合はそうはいかないと同氏は言います。
「防御ははるかに繊細で、二者択一で判断できるものではありません」とヴェンディッゲンセン氏は述べています。「タスクがあまりに多様なため、防御タスク向けの質の高いトレーニングデータを生成するのが困難なのです」
Dreadnodeのチームは、ベンチマークテストが「エージェントが特定のタスクにおいてどれだけ優れているかを検証するには十分なデータを与えてくれるものの、実際にエージェントを訓練するには十分ではない」ことに気づいたといいます。そして、ブルーチームエージェントを効果的に訓練するために必要な量のセキュリティデータを生成するには、多大な時間と労力が必要であり、そのプロセスに「人的ボトルネック」が生じてしまうとのことです。
「これこそが、我々の見解では攻撃型モデルの方が防御型モデルより優れている理由です」とヴェンディッゲンセン氏は述べています。「ラボにとっては攻撃用のデータを生成する方が容易なのです」
そこでDreadnodeは、レッドチームエージェントを使って攻撃シミュレーションを通じてデータを生成し、そのデータをブルーチームエージェントに適用することで、性能が向上するかどうかを検証し始めました。
ブルーチームエージェントの性能改善
テストではレッドチームエージェントが明確に優位に立っており、初期の結果にもそれが表れていました。レッドチームは通常、AD環境のドメイン制御を6分足らずで完全に掌握し、大規模言語モデル(LLM)が非決定論的であるため、テストのたびにさまざまな攻撃手法を使い分けていました。「我々のレッドチームは素晴らしい出来です」とヴェンディッゲンセン氏は述べています。
しかし、ブルーチームエージェントの方は話が別でした。「最初にわかったことの一つは、彼らが本当に出来が悪かったということです」と同氏は言います。「私が書いたブルーチームエージェントはひどいものでした」
Dreadnodeが最初に発見した問題の一つは、ブルーエージェントが調査の実行に必要なデータ量の管理に苦労していたことでした。具体的には、エージェントは「コンテキストウィンドウを埋め尽くしてしまい、そのまま停止してしまう」状態だったとヴェンディッゲンセン氏は説明しています。
開発チームはブルーエージェント向けにコンテキストマネージャーを追加し、どの情報を保持すべきか、調査の進行に伴いどの情報を保存すべきか、その情報をどう保存・圧縮するか、そして必要な時にどう呼び出すかを判断できるようにしました。
「もう一つ判明したのは、攻撃中に集中力を維持できず、基本的に途中で諦めてしまうということでした」と同氏は述べています。
ブルーエージェントは最初の数件のアラートには対応するものの、それ以上の活動や横方向移動の調査を止めてしまっていました。さらに、実際の攻撃を受けている最中にプレッシャーがかかると、ブルーエージェントの推論能力が低下することもわかりました。
しかし時間の経過とともに、Dreadnodeのチームはブルーチームに自己改善の兆しが見え始めたと言います。エージェントは攻撃発生後に逆算的な推論を行い、脅威の性質をより深く理解するようになりました。そして、エージェント自身がタスクをどう設定するかというプロンプトの変更を重ねる中で、エンジニアたちはブルーチームのスコアが向上していくのを目にするようになりました。
さらにDreadnodeは、ブルーチームエージェントにおいて性能の向上がコストの改善と歩調を合わせていることも発見しました。AIのトークンコストは非常に大きくなりうるもので、ヴェンディッゲンセン氏はWindowsのイベントクエリを2、3回行うだけで約20万トークンに達することもあると指摘しています。
しかしDreadnodeは、ブルーエージェントがクエリの実行方法や必要なデータの種類を判断する能力を向上させるにつれて、コストが約25%減少したことを発見しました。「APIに送信し、推論させ、LLMに提示すべき情報は何かについて、はるかに繊細な判断ができるようになってきています」と同氏は述べています。
ヴェンディッゲンセン氏は、Dreadnodeの元プリンシパルソフトウェアアーキテクト(現在はGoogle在籍)のジェイソン・グレース氏、およびDreadnodeのプリンシパルリサーチエンジニアであるシェーン・コールドウェル氏とともに、来週のセッションでテストのさらなる結果と考察を発表する予定です。
