敵対者にゼロデイは不要——彼らはあなたのルールブックを読んでいる

OPINION

先日、Robert Lemos氏はDark Readingで自律型ペネトレーションテストへの信頼が低下していると報じました。Cobaltのレポートによれば、自律型ペネトレーションテストを頼りにしてよいと考える組織の割合は、2026年には9%まで落ち込みました。前年の29%からの大幅な下落です。企業は今も脆弱性を探すAIシステムの実験を続けていますが、1年前と同じようにそれに頼る企業ははるかに少なくなっています。単純に考えれば、この技術が過剰な期待を集めた末に、今は幻滅期に落ち着きつつあるということでしょう。しかし私は、もっと具体的な事情があると考えています。そしてそこには、攻撃だけでなく自律防御にも当てはまる教訓が含まれています。

自律型セキュリティシステムを導入する際、私たちはそれをルールで包み込みます。一定のレベルを超える行動には人間の承認を必要とするよう、権限の上限を設定します。何かおかしいと感じたら安全な状態まで後退し、状況が落ち着けばゆっくりと再び前進する、という復旧プロトコルも組み込みます。さらに、すべての判断を記録し、システム全体を監査可能な状態にしておきます。

これは優れたエンジニアリングであり、優れたガバナンスでもあります。私たちの多くはそれを誇りに思っているはずです。問題が生じるのは、そうしたルールが文書化され、認証を受け、標準や製品仕様書に記載された瞬間からです。その時点から、そのルールはもはや自分たちだけの防御手段ではなくなります。公開情報となり、能力のある敵対者はそれを読み、そこから得た知識に基づいて行動できるようになるのです。

健全なガバナンスを備えた防御システムがネットワークの境界に配置されている状況を考えてみましょう。このシステムはサイクルごとに証拠を正しく評価し、権限の上限を超えず、すべてを記録してレビューに備えています。8週間にわたり、ログを見る限り、どの一日を切り取っても異常は見当たりません。それにもかかわらず、システムはほぼすべての行動に人間の承認が必要な、常時監視下の状態へと着実に追い込まれていきます。侵害は起きておらず、エクスプロイトも一切実行されていません。

敵対者はただ、復旧ルール——設計上、システムを素早く後退させる一方で、復旧はゆっくりとしか進まないというルール——を理解し、それを軸にリズムを作り上げていただけです。システムを打ちのめす低強度のプロービングを短時間集中させ、その後静かな期間を挟んでシステムがじわじわと回復するのを待つ、というやり方です。このプロービングにかかるコストは敵対者にとってほぼゼロです。復旧も無償で得られます。なぜなら、それはシステムが仕様どおりに振る舞っているだけだからです。結果として、コードの一行も書き換えられることなく、防御システムは自らの権限を「言いくるめられて」手放してしまうことになります。

権限枠の武器化

私はこれを「権限枠の武器化（cap weaponization）」と呼んでいます。統治対象のシステムそのものが持つ技術的な攻撃対象領域とは別に、ガバナンス層そのものが攻撃対象領域として悪用される現象です。この背後にある発想自体は目新しいものではなく、状況設定が新しいだけです。何らかの指標がゲーム化されるさまを目にしたことがある人なら、ゴールハートの法則をご存じでしょう。ある尺度が目標そのものになった瞬間、人はその尺度を最適化することに走り、本来の目的を見失うというものです。同じ力学は国際紛争における「ロー・ウォーフェア（法律戦）」にも見られます。相手が自らのルール遵守という姿勢を逆手に取り、武器として使うケースです。AI安全性の研究者もこれを目の当たりにしています。いわゆる「仕様ゲーミング」で、モデルが目的の文言だけを満たし、その意図を踏みにじる現象です。自律防御は、この同じ手口が次に姿を現す舞台であり、そこでの利害は最も高いレベルにあります。

先ほどの「じわじわとした後退」の例は、数ある突破口の一つに過ぎません。同じガバナンス層はいくつもの侵入経路を提供してしまいます。敵対者は偽の入力を与え、権限計算の対象となる状況そのものを実在しないものにすり替えることができます。別の手口としては、クリーンなエクスプロイトではなく、設定のドリフト（少しずつのずれ）を通じて上限をすり抜けるというものもあります。第三の手口は、脅威が去ったことを示すシグナルを偽装し、システムが実際には得ていない権限を「回復」させることです。そして連合体制の場合、最も脆弱な参加者が標的になります。一つの弱いノードが、共有された意思決定全体を引きずり下ろしてしまうからです。これらはいずれも、暗号を破ったりゼロデイを見つけたりする必要はありません。必要なのは、仕様書を読み込み、辛抱強く待つことだけです。

これだけ聞くと絶望的に思えるかもしれませんが、防御側にも実行可能な対策があります。答えは、ガバナンスを隠すことではありません。それを隠してしまえば、そもそもシステムをレビュー可能で信頼できるものにしている透明性そのものを失うことになるからです。答えは、ある一つの性質を絶対に偽装できないようにすることです。すなわち、システムが実際に行動する際の権限は、常に監査記録上の権限と一致していなければならない、ということです。権限の計算は一箇所で行い、上限の強制は別の箇所で行い、両方を記録し、レビュープロセスでこの両者を突き合わせて検証する。敵対者がこれらの層の一つだけを操作し、すべてを同時に操作できなければ、その食い違いは監査によって検出されます。どれか一つの数値が絶対に正しいということよりも、こうした層をまたいだ一貫性こそが、プレッシャーの下で真に頼りになるものなのです。

ここから、セキュリティ責任者がすぐに行動に移せる3つのポイントが導き出されます。

自律型セキュリティツールへの信頼低下は、一部にはモデルが期待に応えきれていないという話でもありますが、それと同時に、自律システムを打ち破る最も安上がりな方法は、そのシステムの安全を守るために作られたルールそのものを攻撃することだと、敵対者たちが学びつつあるという話でもあります。先を行き続けるチームは、自分たちのファイアウォールに向けているのと同じ疑いの目を、自分たち自身のガバナンスにも向けることになるでしょう。