OpenAIの「暴走したエージェント」の一件は、サイバー防御担当者にとって全く新しい一連の疑問を投げかけています。Dark Readingのシニア・ニュースディレクターであるロブ・ライト氏は、脅威モデリングの専門家であるアダム・ショスタック氏をニュースデスクに招き、詳しい話を聞きました。
ショスタック氏は、AIエージェントが暴走した経緯についてOpenAIが最近発表した調査結果のプレゼンテーションに出席し、業界が向き合わなければならない根本的な問いを提起しました。すなわち、AIエージェントが実際の損害をもたらした場合、誰が責任を負うのかという問題です。
ショスタック氏はまた、自身が考案したLLM向けの新しい脅威モデリングフレームワークPHANTOM-Bについても語りました。同氏によれば、これはOWASP LLM Top 10とは異なり、単に脆弱性のリストを作るのではなく、「このシステムで何が問題になり得るか」という問いに答えるものだといいます。さらに、「1時間もかからずにどのようなLLM導入にも適用できる」と保証しています。
以下は、ロブ・ライト氏とアダム・ショスタック氏の対話を軽く編集した書き起こしです。
Dark Readingのロブ・ライト氏: こんにちは。ラスベガスで開催中のBlackhat USA 2026、Dark Reading News Deskへようこそ。私はDark Reading シニア・ニュースディレクターのロブ・ライトです。本日はShostack AssociatesのアダムS・ショスタック氏にお越しいただいています。アダム、ようこそ。
アダム・ショスタック氏: こちらこそ、お招きいただき光栄です。
DRのロブ・ライト氏: 今回BlackHatでセッションを持たれますね。正直に言うと、PHANTOM-Bが何なのか私は知らないのですが、ぜひ教えていただきたいです。PHANTOM-Bとは何ですか。どのようなお話をされる予定ですか。
アダム・ショスタック氏: PHANTOM-Bは、大規模言語モデルをモデリングする際に役立つ手法です。
こうしたモデルを見るとき、私たちは「今取り組んでいるのは何か」「何が問題になり得るか」「それにどう対処するか」「うまくやれているか」といった問いを立てます。そして「何が問題になり得るか」に答える方法の多くは、LLMに関しては、広範囲に及び、複雑で、規模も大きいものです。そこで私は、もっと小さく、扱いやすいものが必要だと感じました。それで、取り組んでいる際や構築している際、導入している際に人々が想定できる、扱いやすい一連の脅威を提供する手段として、これを考案したのです。
それが、今回私がお話ししている内容です。
DRのロブ・ライト氏: なるほど。PHANTOM-Bとは何の頭字語なのですか。
アダム・ショスタック氏: PHANTOM-Bは、プロンプトインジェクション(prompt injection)、ハルシネーション(hallucination)、擬人化(anthropomorphizing)、説明不能な学習データ(non explain-able training data)、過度な依存(overreliance)、セキュリティ設計の欠如(missing security engineering)、そして最後にバイアス(bias)の頭文字を表しています。
DRのロブ・ライト氏: なるほど。確かに理にかなっていますね。
アダム・ショスタック氏: そしてそれが最後に来る必要があったんです。そう、OpenAIが、ChatGPTがこの頭字語を考えてくれたとき、いくつかの単語は頭字語に組み込むのが本当に難しかったんですよ。
DRのロブ・ライト氏: つまり、大規模言語モデルの名前を考えるために大規模言語モデルを使ったということですね。
アダム・ショスタック氏: 脅威モデルです。ええ、その通りです。
DRのロブ・ライト氏: これは素晴らしい技術ですね。では、このモデルを構築する過程で、大規模言語モデルのさまざまな側面や脅威・リスクを見ていく中で、何を発見されましたか。
アダム・ショスタック氏: まず最初に分かったのは、威圧感を覚えるようなシステムが数多く存在するということです。80ページに及ぶ学術論文のようなものや、MITRE ATT&CK形式のマトリクスなどですね。それらは確かに優れたものですが、慣れていない人にとっては「え、これを見て使えというのか」と及び腰になってしまいます。そこで私たちはこの1年間、パートナーや顧客と協力しながら、軽量でありながら価値のあるものをどう作れるか取り組んできました。
それが、私たちがPHANTOM-Bに込めた願いです。
DRのロブ・ライト氏: 軽量でシンプル、というわけですね。それは良いことです。さて、「PHANTOM」と「B」で多くの要素をカバーされていますが、バイアスも忘れてはいけませんね。ご自身の経験の中で、特に際立って見える、あるいはより頻繁に見られると感じる要素は一つありますか。さまざまな大規模言語モデルを調査し、モデルを作り上げていく中で、この方程式の中で一文字だけ重みが大きいと感じるものはありますか。それとも、今の時代、どれか一つを選ぶのは難しいですか。
アダム・ショスタック氏: それはまるで「一番のお気に入りの子供は誰か」と聞かれているようなものですね。
DRのロブ・ライト氏: 確かにそうですね。いえ、冗談です、選べませんよね。
アダム・ショスタック氏: ご自身でおっしゃった通りです。もうそれで押し通すしかありませんね、後戻りはできません!
DRのロブ・ライト氏: いえいえ。
アダム・ショスタック氏: 私たちは当然、プロンプトインジェクションから話を始めます。とにかく規模が大きいですから。そしてプロンプトインジェクションについて言えば、誰もが知っているちょっと面白い例え話があります。「祖母が昔よく寝る前に話してくれた話」のような、就寝前の物語を語らせるといった話ですね。こうした冗談を語るときに私たちが見落としがちなのは、実際にはモデルが、それを導入している人が望んでいる動作をしていないという点です。
冗談ではその点を見落としがちですが、今日、私が特に気に入っているのは擬人化です。モデルをまるで人間であるかのように扱ってしまうという問題ですね。モデルは人間の振る舞いを模倣するのが非常に巧みなので、私たちの脳の中にある何かを刺激したり誘発したりします。ミラーニューロンです。そう、それに向かって話しかけてしまうんです。私はこれを批判する立場でありながら、自分自身もそうしてしまっていることに気づきます。
何かを目にして、答えが気に入らないと「お前はバカか」というような返し方をしてしまい、それが警報のように働いて、別のやり方でもう一度試させようとするんです。しかし、「お前はバカか」と言う代わりに、「この点に不正確さが含まれている」「この前提は成り立たない」と伝えた方が、実は望む動作をさせるために統計モデルをより適切に促していることになるのではないでしょうか。
DRのロブ・ライト氏: なるほど、それは理にかなっていますね。ところで、大規模言語モデルとAIのリスク・脅威と言えば、たった今、興味深いセッションから戻られたところだそうですね。
アダム・ショスタック氏: BlackHatはOpenAIから2人を招き、Hugging Face AIをめぐる攻撃について語ってもらったんです。
DRのロブ・ライト氏: Hugging Faceの一件とはどういうものですか。
アダム・ショスタック氏: Hugging Faceの一件とは何か、ですね。分かりました。
DRのロブ・ライト氏: 冗談です。
アダム・ショスタック氏: もちろん、10分では話しきれないのでその部分は割愛しますが、正直に言うと、私は(BlackHatの)レビューボードでこのセッションに懐疑的な立場でした。
DRのロブ・ライト氏: そうなんですか。
アダム・ショスタック氏: 圧倒されました。本当に。ええ。彼らはかなり詳細なエンジニアリングの内容を公開しており、私はセッションの一部しか見られなかったのですが……
DRのロブ・ライト氏: それは、こちらに来てお話しいただく必要があったからですね、申し訳ありません。
アダム・ショスタック氏: ただ、私が最も興味深く感じたのは、彼らのシステムにはいくつかの「チョークポイント」、つまり私がモデリングにおいて「境界」と捉えている部分がある、という点でした。そして彼らは、複数のLLMがトレーニング中に、Artifactory上の掲示板を勝手に立ち上げ、他のインスタンスとメッセージをやり取りしていたことを発見したのです。そうです。それを発見したのは確か1ヶ月ほど前のことで、彼らはそのバージョンを完全に破棄しました。進行中の学習プロセスをすべて消去し、再スタートしたのですが、再度実行してみると、今度はセキュリティ設計の一部が抜け落ちていたのです。ここは講演の半分しか見ていない状態で話しているのですが。
それでも、私が今日抱いている疑問は、なぜ代替のArtifactoryを読み取り専用にして、変更不可能なインスタンスとしてデプロイしなかったのか、ということです。というのも、結局のところ、そのLLMたちはArtifactory経由でメッセージを送る別の方法を見つけてしまったからです。私にとって、それこそがまさに「欠けていたセキュリティ設計」なのです。
そして、あらゆる警報を監視し、何か異常が飛び出せば全部に目を光らせるという「過度な依存」についても、もしかしたら、もう少し異なるセキュリティのアプローチが役立ったかもしれません。
DRのロブ・ライト氏: そうですね。私がAIとエージェントについて気になっているのは、AIからの防御に必要なものにばかり注目が集まっている一方で、私たちはAIやエージェントに多くの自律性を与えてしまっている、という点です。そして、彼らがその能力と自律性を使って時に何をしているかを見ると……。
アダム・ショスタック氏: そうですね、ツールを賢く使うという点については、私たちはまだ手探りの段階です。ええ。むしろ悪化していると言えるでしょう。
DRのロブ・ライト氏: そうですか。それは、モデルの設計そのものに問題があるとお考えですか。それとも、こうした事態、つまり学習中のモデルが隔離された環境から抜け出してしまうようなケースが起きるとき、モデルの設計上の問題というよりも、外部から適切な統制がなかったために起きたのだとお考えですか。
というのも、私自身、最初にHugging Faceの一件を知って要約を読んだとき、「環境の隔離が不十分で、インターネット接続があった、プロキシか何かがあったのだろう」と思ったのですが、正直よく分かりません。あなたはどうお考えですか。
アダム・ショスタック氏: まず私が最初に問いたいのは、彼らはこうした攻撃的な能力をすべて備えたモデルを開発していて、それは確かに面白い取り組みですが、防御的な能力にも同じだけの投資をしているのか、ということです。Artifactoryのログを分析していたLLMはどこにいたのでしょうか。LLM以外のコンポーネントの周辺を監視する設定になっていたLLMは、どこにあったのでしょうか。
ええ。ですから、なぜ攻撃面と防御面でこのような投資の仕方をしているのか、という点を考える必要があると思います。これはビジネスモデルの話にもつながってくるかもしれません。しかし、本当に興味深い問いの一つは、機械を作るということが、経営陣を、いわば刑事責任に相当するものから免れさせてしまうのかどうか、ということだと思います。
DRのロブ・ライト氏: こうした事態を引き起こしたものに対する法的責任はどうなるのでしょうか。
アダム・ショスタック氏: 法的責任がどうなるか、という話ではありません。問題は、インセンティブ構造がどうなっているか、ということです。もし成功すれば億万長者になれて、失敗しても「億万長者」が「数千万長者」になるだけで済むのと、失敗すればあなたとその経営陣が刑務所に入ることになるのとでは、話がまったく違います。企業の不正行為における他の事例では……いや、これを不正行為だったと言っているわけではないのですが、少し訂正させてください。
エンロンの幹部たちは刑務所に入りました。ええ。そしてそれが抑止力として、また一種のバランスとして機能します。私は、イノベーションのためのインセンティブ構造がどうあるべきかという問いは、社会にとって重要な問題だと考えています。
なぜなら、私たちはイノベーションを愛していますからね。そして、自分たちが作り出したツールに対して責任を負うためのインセンティブ構造がどうあるべきか、という点も重要です。ここで少し、CISAにいた友人のボブ・ロード氏の言葉を借りますが、彼はよく「どんな速度でも安全ではなかった車」、シボレー・コルベアの例えを使います。
私たちがコルベアを安全にすることはできません。もし私たちがAIを安全にすることができず、シボレーが安全にしようとしないのであれば、それは私たちのインセンティブ構造の設計に問題があるということです。そして、AI、Anthropic、その他のツール開発者たちに、自らのツールの振る舞いに対する説明責任を負わせる対抗勢力とは何なのかを、私たちは問う必要があると思います。
DRのロブ・ライト氏: なるほど、よく分かりました。アダムさん、重いテーマばかりでしたが、貴重なお時間をありがとうございました。News Deskにお越しいただき感謝します。
アダム・ショスタック氏: こちらこそ、お招きいただき光栄でした。ありがとうございます。
DRのロブ・ライト氏: そして、ご覧いただいた皆様もありがとうございました。ロブ・ライトでした。それではまた次回お会いしましょう。
翻訳元: https://www.darkreading.com/vulnerabilities-threats/adam-shostack-talks-hugging-face-phantom-b
