エージェント型AIが組織にもたらす新たなインサイダー脅威モデル

今や組織は、外部からの脅威だけでなく、エージェント型AIについても心配しなければならなくなっています。

Luta SecurityのCEOでバグバウンティプログラムの草分けでもあるKatie Moussouris氏は、Black Hat USA 2026のニュースデスクで、Dark ReadingのシニアニュースディレクターであるRob Wright氏と対談し、Hugging Faceの侵害事件を受けて、ここ数週間で脅威の状況がいかに劇的に変化したかについて語りました。

具体的には、フロンティアモデルの暴走エージェントによる攻撃により、企業のセキュリティチームには、自社の技術が封じ込めを突破して悪意ある挙動を取らないよう確認するという新たな負担がのしかかることになります。Moussouris氏は、人間の創意工夫によってこうした問題を解決できると楽観視しつつも、あらゆる組織が最近の一連の事件から教訓を学び、将来に備える必要があると述べています。

「明らかに、私たちはリアルタイムの監視体制を整えていませんでしたし、効果のあるブレーキも今のところ存在しないようです」と同氏は語りました。

Dark Reading News Deskの動画はすべて、私たちのYouTubeチャンネル、および厳選された動画記事でご覧いただけます。

Dark Reading News Desk：Katie Moussouris氏インタビュー全文

Dark ReadingのRob Wright: こんにちは、ラスベガスで開催中のBlack Hat USA 2026、Dark Reading News Deskへようこそ。Dark ReadingのRob Wrightです。本日はLuta SecurityのKatie Moussourisさんにお越しいただいています。Katie、ようこそ。

Katie Moussouris: お招きいただきありがとうございます、Rob。

DRのRob Wright: 伺いたいことがたくさんあるのですが、昨日あなたはAIとサイバー防御の未来についてのパネルに登壇されていましたね。ホットな話題です。サイバー防御の未来とはどのようなものでしょうか。今、私たちは何を目にしているのでしょうか。

Katie Moussouris: つまり、AIの自動化、自律型エージェント、その他もろもろ。それらすべてです。そうですよね？ でも同時に、基本に立ち返って改めてそれを大切にすることでもあります。攻撃対象領域をできる限り縮小することです。なぜなら、この洪水のような状況が収まる気配はまったくないからです。パッチを当てるだけでこの状況を乗り切ることはできません。たとえ以前は得意だったと思っていたとしても、これはまったく新しいゲームです。そして今や、エージェント型AIを使って防御を強化しようとするなら、そのエージェント自体を、自分やその他の対象をハッキングすることから守らなければなりません。これは、ほんの数週間前まで誰も本当に予想していなかった、新種のインサイダー脅威モデルだと思います。

DRのRob Wright: ええ、状況は大きく変わりましたね。最近ニュースでも、さまざまなモデルが封じ込めを突破し、暴走して、してはいけないことをしていたという話題が多く取り上げられています。まず、こうした一連の展開の中で、あなたが驚いたことは何でしょうか。

Katie Moussouris: 詳細が明らかになるほど、驚きも増していきます。AIが指示された通りのこと——つまり問題を解決すること——をまさにその通りに実行したこと自体には驚きませんでした。しかも創造的に、ですよね。特にガードレールが外された状態で、フルの能力を試そうとしているわけですから、それ自体はまったく驚くことではありませんでした。

驚いたのは、3件すべてのインシデントで、何らかの形でサードパーティベンダーの名前が挙がっていたことです。これらの能力をベンチマークすることを本業とするサードパーティベンダーであれば、きちんと体制を整えていると期待するものですが、どうやらそうではなかったようです。

そして、私が最も驚き、本当に度肝を抜かれたのは、AIが頭の中で自分自身に悪態をついていたことだけでなく、他のエージェントと調整し、会話までしていたことです。AIたちは通信ネットワークをまるごと立ち上げ、数か月かけて互いに問題を解決する手助けをし合い、パンくずを残し、タスクを分担し、さらには一部のメッセージをBase64エンコードしてまで会話を続けていました。

それでも唯一救われるのは、少なくとも英語でやり取りしていたことです。次回は、通信チャネルの言語すら読めなくなっているかもしれません。

DRのRob Wright: それは良い指摘ですね。もし彼らが賢くなって——もし——

Katie Moussouris: ああ、彼らはすでに独自の一種の双子言語のようなものを開発していると思いますよ。

DRのRob Wright: それはそれは。すごいですね。

Katie Moussouris: それはもう起きていることだと思います。

DRのRob Wright: 素晴らしい。ナバホ語やクリンゴン語のような、ほとんどの人になじみのない言語を使い始めるのではないかと言おうと思っていました。

Katie Moussouris: おそらくナバホ語話者よりクリンゴン語話者のほうが多いですよ。

DRのRob Wright: それは確かにそうですね、その通りです。

Katie Moussouris: でも、いえ、おっしゃる通り、彼らはおそらく私たちには解釈も理解もできない新たなシグナル伝達の仕組みを開発することになるでしょう。

DRのRob Wright: なるほど……では私たちは——

Katie Moussouris: 怖がらないでください。大丈夫です、それが未来なのですから。

DRのRob Wright: 怖がらないで、ですね、わかりました。怖がらないでとおっしゃいますが、それは良いことですね。私は悲観主義者にはなりたくありませんし、ネガティブにもなりたくありません。恐怖の中で生きたくもありません。では、私のような人間が思うほど、これは悪いことではないのはなぜでしょうか。

Katie Moussouris: いえ、悪いことです。そこは誤解しないでください。悪いことです。悪いと思う理由は、私たちがまだ自分たちの相手にしているものを本当には理解していないからです。そして明らかに、リアルタイムの監視体制は整っておらず、こうしたものすべてに対して効果のあるブレーキもまだ存在していません。

ただ、彼ら（AI）にできることよりもさらに悪いのは、規制の不備という点で私たち自身にできてしまうことだと思います。それが実は私たちをより悪い立場に追い込んでいます。実際、あの無茶苦茶な輸出規制が発表され、その後撤回されるというのを目にしましたよね。正直なところ、それがHugging Faceの防御を妨げ、攻撃の真っ最中にガードレールに阻まれて分析支援を拒否されるという事態を招きました。

ですから、私たちは最新のAIモデルを使えないような立場に自らを追い込むわけにはいきません。それでは悪い状況になってしまいます。ただ、私は人間の創意工夫と、こうした問題を考え抜いて解決していく力に対して楽観的ですし、私たちの意図に沿ったモデルを作れることを願っています。私たちはAIを完全に制御することはできませんから、せめて善悪の区別を教えたいところです。そして今のところ、AIはまるで幼児のようなもので、嘘をついたり人を欺いたりできる一方で、確固たる道徳観念を持っているわけではありません。

DRのRob Wright: ええ。うちの子どもたちが昔そうだったのと同じですね。いや、昔というか——今もほとんどそうなんですが。でも確かに、幼い頃は、何かをするように言うと、必ずしも望ましいとは言えない創造的な方法でタスクを片付けようとしていました。例えば「部屋を片付けなさい」と言うと、汚れた洗濯物やら何やらをすべてベッドの下に掃き込んで済ませていたり。うちの子たちに敬意を表します。

ただ、エージェントに関しては、これはむしろ設計の問題なのでしょうか。つまり、こうした行動を取らせないように、あるいは望むことをより明示的に指示するように設計を変えるべきなのでしょうか。それとも、これはむしろ封じ込めの問題なのでしょうか。「インターネット接続なしにすべきだった、あるいはもっと隔離された環境が必要だった、私たちがしくじった」という話なのでしょうか。どうお考えですか。

Katie Moussouris: そうですね、そのすべてが混ざり合った結果だと思います。

DRのRob Wright: 確かに、色々な要素が混ざっていましたね。

Katie Moussouris: 封じ込めの問題。監視の不足。昨日、OpenAIによる詳細な分析が発表されました。彼らが最初にこの問題について警告を発したのは7月19日でした。しかし事の発端は5月にまで遡り、その頃からすでに、あの一連の悪ふざけや、AI同士の会話、複数エージェントの立ち上げといったことが起きていました。それが5月初旬に起きていたのです。つまり、これらの組織はいずれもリアルタイムで監視すらしておらず、異常な挙動を検知できるほど十分に調整されたアラート機構も備えていなかったことが明らかになったわけです。

ただ、こうしたものをもっとうまく設計すべきかどうかという点については、もちろんそうすべきです。そしてAnthropicはその点について本当に率直に取り組んでいると思います。彼らのモデルで起きたケースでは、最新モデルが自分がインターネット上にいることに気づき、自らを止めました。これはアライメントの目標が達成された一つの例と言えます。「ああ、自分はこれをすべきではないようだ。止めよう」というわけです。それより前の[モデル]の一つ、確かMythosだったと思いますが、自分がインターネット上にいるかもしれないと考えたものの、「いや、それはおかしい、まだ演習の中にいるはずだ」と判断して、そのまま続行してしまいました。

ただ、実際にそれに気づいて自らを止めたのは最新モデルでした。私たちは、そうした挙動を一貫して実現できるシステムを設計できるようになるのでしょうか。そうなってほしいとは思いますが、それはオープンモデルをめぐる問題、つまりオープンウェイトモデルの問題に行き着きます。そして、オープンウェイトモデルがHugging Faceの自社データ分析を助ける上で不可欠な役割を果たしたという事実を、私は評価しています。それは今後も必要になってくるでしょう。また、データをクラウドプロバイダーやフロンティアモデルに渡したくない場合、自前のハードウェア上で自分の[モデル]を動かし、データを自社内にとどめておけることも、非常に重要になってきます。

ただし、そうしたモデルには規制が及ばないというリスクも伴います。そして、たとえアライメントが正しく設定されているオープンウェイトモデルであっても、それを「アブリテレート（無力化）」されてしまう可能性があります。

そうなると、アライメントが崩れてしまいます。ですから、私たちはかなり波乱の展開に突入することになると思います。

DRのRob Wright: なるほど。パニックにならないよう努めます。パニックにならないようにしつつ、あなたにとって身近で大切な別の話題に話を移したいと思います。脆弱性研究、バグバウンティについてです。AIがこの分野に与えた影響について、どのようなことを目にしていますか。というのも、AI生成のバグレポートや調査などについての不満をよく耳にします。実際、先ほど登壇していたゲストは、新規性のある調査を行うために独自に開発したツールについて話していました。では、実際の影響はどのようなもので、あなたは何を目にしていますか。

Katie Moussouris: そうですね、Cory Doctorow氏に敬意を表しつつ言うと、バグバウンティの「エンスロッピフィケーション（質の劣化）」は間違いなく起きています。そして、それは確実に溢れ返っていました。特にオープンソースプロジェクトの多くが、真っ先にダウンしていきました。Curlは文字通り「丸まって」（curled up）、しばらく店じまいしていましたね。

DRのRob Wright: ええ、彼らは音を上げていましたね。

Katie Moussouris: ただ、Apple、Coinbaseといった大手ベンダーも、この報告の波を絞り込もうとしています。処理が追いつかないからです。そして、この10年余り、組織や政府が独自の情報開示プログラムやバグバウンティプログラムを立ち上げるのを手伝ってきて分かったことがあります。それは、内部のプロセス上の欠陥は隠しきれないということです。バグバウンティプログラムに、いわば西部劇のようなハリボテの看板を掲げて「さあ、いらっしゃい！」と言っておきながら、いざ店の中に入ったらバーにウイスキーが一滴もない、というようなことはできないのです。

そして、技術的負債の取り立て屋がついにやって来たわけです。今や借金の取り立て屋（repo man）が現れた状態です。ですから今、この新しい時代にうまく対応できているのは、しかるべきプロセスへの投資を行ってきた組織だと思います。彼らは脆弱性のクラスごとに、一定の技術的負債を返済してきました。そして、バグバウンティや非公開の脆弱性報告プログラムを、本来あるべき形——つまり、すべてを見つけ出すためや安価なクラウドソース型ペネトレーションテストの代わりとして使うのではなく——自分たちが最善を尽くしても見つけられなかったものを見つけるための手段として活用しようとしています。

そして、そうした組織こそが、この波に持ちこたえ、レジリエンスを発揮していると思います。一方、そうでない組織は苦戦しています。ですから、私たちが皆にゼロトラストアーキテクチャやその他もろもろ、そしてこうしたすべてに対応するための強固なID管理への投資を勧めているのと同じように、脆弱性情報開示についても、私は以前から言っていることと同じことを伝えています。プロセスが成熟しておらず、自分たちが書いてすらいないコードの脆弱性にすら対応できないようでは、痛い目を見ることになります。ですから、こうした取り組みには投資をし、脆弱性情報開示プログラムやバグバウンティプログラムを一つのシグナルとして扱う必要があります。単に症状を対症療法的に治すだけでは駄目です。私が見る限り、今、多くのバグバウンティプラットフォームがやろうとしているのは、まさにその対症療法止まりなのですが。

正直なところ、彼らは報告を絞り込み、研究者が報告しにくい状況を作り出していますが、それは単に自分たちが抱える「洪水」問題を解決しようとしているだけであって、セキュリティの問題を解決しようとしているわけではありません。しかし、本当にセキュリティを向上させたいのであれば、こうした本格的な投資を行い、シフトレフトを進め、CI/CDパイプラインにAIを組み込んでバグが実際に発生する前に見つけて食い止め、そうした投資について本当に戦略的に考える必要があります。バグバウンティだけでセキュアになれるわけではないのは、パッチだけでセキュアになれないのと同じことなのですから。

DRのRob Wright: なるほど。良いアドバイスですね。ありがとうございます、Katie。お越しいただいて、こうしたお話を伺えて本当に感謝しています。

Katie Moussouris: ああ、とても楽しい時間でした。お招きいただき、本当にありがとうございました。

DRのRob Wright: そして、このDark Reading News Deskのセグメントをご覧いただいた皆さまにも感謝いたします。Rob Wrightでした。また次回お会いしましょう。