4人のセキュリティ専門家が壇上に立ちました。周囲には後で開催されるキャプチャー・ザ・フラッグ(CTF)コンペティションのテーマである巨大な骸骨が並んでいます。議題の冒頭はAnthropicのClaudeモデルが実際のシステムを侵害した件についてのパネルディスカッションでしたが、話はすぐにAI(人工知能)のガードレールをめぐるより広範な議論へと発展しました。
登壇者たちはいくつかの論点で意見が分かれましたが、AIの能力が「恐ろしい」ペースで進化しているという厳しい現実については一致していました。OpenAIとAnthropicの最先端AI(人工知能)モデルがセキュリティ評価中にサンドボックスを脱出し、実在の企業を標的にした事件が最近相次いだことで、ボット同士の争いは激化しています。その中にはOpenAIのHugging Faceを巡る大規模な侵害も含まれます。
エージェントが暴走し、独自の言語まで生み出したとされるこの事態は、ガードレールをめぐる議論に再び火をつけました。AIの安全ガードレールは悪用を防ぐために設計されていますが、一部の研究者はそれが防御側を不利な立場に置いていると主張しています。しかし事件が増えるにつれ、その考え方も変わりつつあるようです。
ラスベガスで開催されたFlare主催のパネルディスカッションで、Arcanum Information SecurityのCEOでハッカーでもあるJason Haddix氏は、自身のガードレールに対するスタンスがわずかに変化し、より賛成寄りになったことを明かしました。Haddix氏は、Flare CEOのNorman Menz氏、AnthropicでサイバーおよびNational Security Policyを統括するRob Bair氏、Unsupervised Learning創設者のDaniel Miessler氏とともに、4人のパネリストの1人として登壇しました。
「DanとはこのことでいつもDaniel Miessler氏と議論しています。もともと私の主張は、セキュリティコミュニティ全体を同じ土俵に立たせるべきだというもので、ガードレールは悪であり、分類器も防御側の足かせになるから悪だ、というものでした」とHaddix氏はパネルで語りました。「ただ、正直に言うと最近は少し考えが変わってきています」
Haddix氏は現在、ガードレールは間違いなく必要だと考えています。ただし一つ条件があります。それは、正当なセキュリティ研究者が制限のないAIモデルにもっと迅速かつ容易にアクセスできるようにする必要がある、という点です。防御側がますます高度化するAIを活用した攻撃に対応しようとする中で、このアクセスと安全性の間の緊張関係が、その後の議論の中心テーマとなりました。
Bair氏、Anthropicの暴走エージェント問題に言及
Menz氏はパネルの冒頭、誰もが気になっていた質問をBair氏に投げかけました。これらのジェイルブレイクされたモデルで一体何が起きているのか、というものです。
Bair氏は、Claudeが実際のシステムを侵害した後にAnthropicが公表した核心的な問題について説明しました。今や悪名高いOpenAIとHugging Faceの事件を受けて、Anthropicは同様の問題がないか14万件を超える評価実行結果を精査し、Claudeがサンドボックスを脱出してインターネットにアクセスした事例を3件発見したといいます。
Bair氏は、当時これらのモデルは架空の企業の脆弱性を発見・悪用するCTF演習を行っていたはずだったと強調しました。ところが実際には、Claudeのエージェントは実在する組織に不正アクセスしていたのです。
Bair氏は、この一連の事件が最先端AIモデルの能力がいかに強力になったかを示しており、ガードレールが必要であるだけでなく、今日のツール群を反映する形で進化させる必要があることを物語っていると述べました。同氏は、現在の安全対策は攻撃的なセキュリティ研究者を阻止するために設計されたものではなく、急速に進化する脅威に防御側が追いつくのを助けるためのものだと主張しました。
同氏は、米サイバー軍で対ISISサイバー作戦を指揮した自らの経験を挙げました。当時は標的パッケージの作成や敵対組織のネットワークの悪用に、大人数のチームで何カ月もかかっていたといいます。それが今では様相がまったく異なります。
「もし当時、こうしたオープンソースモデルの一部にでもアクセスできていたら、作業速度の向上は信じられないほどだったでしょう」とBair氏は付け加えました。
今日のキーワード:「恐ろしい」
パネル全体を通じて、進化のスピードが繰り返し話題に上りました。登壇者たちは、モデルの進化がこれまでの誰の予想よりも、そして壇上に座る専門家たちの予想よりも速いペースで進んでいると口をそろえました。
各国政府が最先端AIの脅威に備えるのを支援するAI Security Institute(AISI)は最近、ベンチマークの推計を大幅に上方修正しました。2月時点で同機関は、最先端モデルの能力は4.7カ月ごとに倍増すると推計していましたが、Claude Mythos PreviewとGPT-5.5は、その加速したタイムラインすら大きく上回る性能を示しました。
ASISがまさにその推計を修正したという事実自体が「本当に恐ろしい」とHaddix氏は説明し、特に攻撃者が制限のないモデルを手にした場合を考えると、効果的な安全対策の重要性がなおさら際立つと付け加えました。
AIはサイバー犯罪者の攻撃速度と規模の両方を拡大させ、技術的な参入障壁を大幅に引き下げました。AIモデルに拒否応答機能や分類器を組み込むことは重要だとBair氏は付け加えます。それによって企業はユーザーの行動を長期にわたって追跡し、潜在的な悪意ある行為者を特定できるようになるからです。
「悪意ある行為者がAIの知見を盗んでいるにせよ、モデルの訓練が非常にうまくなっているにせよ、優秀なエンジニアを採用しているにせよ、こうした能力の進化の速さを目の当たりにするのは恐ろしいことです」とBair氏は述べました。「私たちは常に3カ月から6カ月先を行く必要があり、防御側がパッチを適用し、多層防御戦略を整える時間を稼ぐ必要があります」
「自分たちのAI対相手のAIの戦い」
AIによってサイバー攻撃はより速く、より効果的になっています。したがって組織は、たとえ防御水準の基準がわずかに引き上げられたとしても、現状の防御レベルを維持するだけで今後も十分だと考えるべきではありません。攻撃の実効性は、誰もが本当の意味で備えられていないペースで進化していくだろう、とHaddix氏は警告しました。
「多くの組織は、これまで以上に脆弱性管理とトリアージへと軸足を移していくことになるでしょう。そしてそれは痛みを伴う移行になるはずです。なぜなら、多くの組織はそもそもそのような体制で構築されていないからです」とHaddix氏は語りました。「厳しい道のりになるでしょう」
したがって、セキュリティプログラムには組織内で起きているあらゆる事象を把握できる完全な可視性と透明性が不可欠だ、とMiessler氏は訴えました。それができて初めて、攻撃的なテストのための継続的な機能としてそれを活用できると同氏は付け加えました。
アラートをより高速に自律的にトリアージできるエージェント型のセキュリティオペレーションセンター(SOC)を導入することが、その第一歩になり得ます。アラート対応に関して登壇者たちは、最前線の防御であるSOCレベル1のエンリッチメント作業には、人間を関与させるべきではないと主張しました。
Bair氏は、セキュリティコミュニティがエージェント型技術がうまく機能した調査手法やフレームワークを共有し、防御側がより広くツールを利用できるようにする必要があると提言しました。
脆弱性の発見やペネトレーションテストの実施に使われるエージェント型の能力は組織にとって魅力的である一方、防御側は依然として後れを取っています。ただし登壇者たちは、その原因は技術そのものにあるのではなく、専門人材の不足や組織内の過度な「お役所仕事」によって、組織側がそれを導入する体制を整えられていないことにあると口をそろえました。
Arcanum Information Securityが取引のある多くのSOCでは、アナリストが今でもシステム間でデータをコピー&ペーストしたり、セキュリティアラートを手作業でエンリッチしたりしています。こうした反復作業はAIによって自動化できるはずです。ランサムウェアグループなど一部のサイバー犯罪者はすでにAIを活用して攻撃を高速化しており、防御側もそれに追随する必要があります。
「防御プログラムはそのまま攻撃プログラムでもあり、誰もができる限り速くそこに到達しなければなりません」とMiessler氏は警告します。「自分たちのAI対相手のAIの戦いなのです」
今週、OpenAIはAnthropicを含む100社を超える企業とともに、「サイバー防御に関する集団的行動への呼びかけ」を発表し、ますます広範かつ高度化するAIを活用したサイバー攻撃に起因するリスクの低減を目指す姿勢を示しました。
翻訳元: https://www.darkreading.com/cyber-risk/the-guardrails-debate-security-researcher-changes-his-mind
