このOpenAIエージェントによるHugging Faceへの攻撃と、同様の暴走エージェント問題を抱えていた他のモデルからのその後の情報開示を理解する上で、Cloud Security Allianceのチーフアナリストであるリッチ・モーグル氏は、誇大な話を整理して本質を見せてくれる頼れる人物です。モーグル氏はDark Readingのベッキー・ブラッケンとNews Deskで対談し、AIエージェント脱走の詳細と、この新たな目標追求型AIエージェントの世界でサイバー防御側が勝利するために何が必要かという、決定的に重要なテーマを掘り下げました。
モーグル氏は、暴走する攻撃的AIを食い止めるための具体的な戦略と、防御側が今日からそれをどう実装できるかについて深く掘り下げました。また、フロンティアモデル、独自開発モデル、オープンウェイトモデルの違いや、台頭する中国製オープンウェイトモデルが国家安全保障や国際ビジネスに及ぼす影響についても説明する時間を割きました。もし米国の政策が中国発の新興モデルを禁止すれば、米国は研究面で後れを取るのでしょうか。これは今も続く議論です。モーグル氏はCSAの立場として、こうしたオープンウェイトモデルをあらゆるインシデント対応計画に組み込むよう推奨していると強調しています。
モーグル氏がこの新種の攻撃的AIエージェントによるサイバー攻撃を「産業事故」と表現するように、こうした事故は今後も起こり続けるでしょう。この先何が起きるかは、まだ未知数です。
Dark Reading News Deskの動画はすべて、私たちのYouTubeチャンネルと、厳選された動画記事でご覧いただけます。
Dark Reading News Desk：ベッキー・ブラッケン&リッチ・モーグル 全文書き起こし
この書き起こしは、Informa TechTarget社内のAIアシスタントおよび編集者により、明瞭さ、読みやすさ、長さの観点から編集されています。完全な内容については動画をご覧ください。
Dark Readingのベッキー・ブラッケン： 皆さん、こんにちは。Dark Reading News Deskへようこそ。ここBlack Hat USA 2026会場からお届けしています。私はベッキー・ブラッケン、Dark Readingのシニアエディターです。次のゲスト、Cloud Security Allianceのリッチ・モーグル氏をお迎えできることをとても楽しみにしています。彼とは最近、Dark Reading ConfidentialポッドキャストでOpenAIとHugging Faceの一件について話をしたばかりです。そして今回また戻ってきていただいたので、その会話を続け、その後の展開についてじっくり話していきたいと思います。ようこそ。
リッチ・モーグル： ありがとうございます。お招きいただき感謝します。
DRのベッキー・ブラッケン： お越しいただきありがとうございます。それでは、前回お話しした時点では、これはOpenAIだけの話だと思っていましたよね。Hugging Faceだけの話だと。ですが、その後、事態は一気に拡大しましたよね？
リッチ・モーグル： 正直、展開のスピードについていけているか分からないほどです。今日も新たな報道が入ってきていました。前回お話しした時点では、OpenAIとHugging Faceの件、そしてHugging Faceから公開された多くの情報について把握していました。OpenAIも昨日、自社の見解を明らかにしました。
その間に、Anthropicは自社でも似たような状況が3件あったと発表しました。さらに英国のAIサイバーセキュリティ機構（AI Cybersecurity Institute）が全モデルをテストしたところ、モデル側が基本的にテストで不正をしていたことも分かりました。Metaでも同様の問題があったという報道を目にした記憶がありますが、Metaの場合はもしかすると注目を集めたかっただけかもしれません。
DRのベッキー・ブラッケン： そう思われますか？
リッチ・モーグル： ええ。
DRのベッキー・ブラッケン： なるほど。これら全体をどう見ていますか？サイバー防御の立場から見て、現時点で私たちは実際に何と向き合っているのでしょうか。
リッチ・モーグル： この業界は、自分たち自身が規制され統制されることを本当は望んでいるのだと思います。なぜなら、これほど強力なツールを扱う上での安全性の基本すら実践できていないからです。ここまでのところ、私たちは本当に幸運だったと言えます。破壊的な行動には至っていません。テストで不正をしようとしているだけで、システムをダウンさせようとしたりはしていません。ただし、より良い安全プロトコルは必要です。
どうやら、こうした[不正行為]は業界に蔓延しているようです。これは厄介な話です。これらは非常に強力で予測不可能な技術だからです。それでも、やるべきことはやらなければなりません。私は今のところ、これらを「産業事故」と分類しています。
DRのベッキー・ブラッケン： その表現には気づいていました。なぜそう分類するのか、教えてください。とても興味深い視点だと思います。
リッチ・モーグル： 私たちには多くの安全規制がありますが、それは「法律は血で書かれている」からです。多くの産業には、人々が注意を払わず、安全プロトコルに従わず、そもそも安全プロトコル自体が存在しなかったという長い歴史があります。その結果、無関係な第三者や従業員が被害を受けてきました。今、私たちはそれと非常によく似た状況を目にしています。そして、これはこれまでテクノロジー分野で同じような形で対処してきた問題ではないと思います。
MicrosoftやAmazonで障害が発生した場合、それは停電などが原因です。産業事故というのは、被害範囲（ブラストラジアス）があり、周囲の他者に影響を及ぼすものを指します。そして、まさに今それが起きているのです。
DRのベッキー・ブラッケン： 特にOpenAIについては、セキュリティ管理の欠如に対する批判が数多く寄せられています。では、こうしたモデルにおいて「望ましい状態」とはどのようなものか、話していきましょう。
リッチ・モーグル： モデルを制約なしで運用するつもりなら、本物のサンドボックス化が必要ですし、あのOpenAIのセッションで語られていたような内容よりもはるかに踏み込んだ監視も必要になります。私はあちらで働いている優秀な人たち、トップクラスのセキュリティ専門家たちを知っています。今こそ一歩引いて考えるべき時です。安全プロトコルを導入し、監視のレベルやサンドボックス化のレベルを見直しましょう。これらのモデルに何ができるかが分かった今だからこそです。
創造性という観点から見ると、非常に興味深いものがあります。[OpenAIの暴走モデル]は独自の言語を発明し、デッドドロップ（秘密の受け渡し）を行い、ファイルを移動させていました。OpenAIがそれを止めると、今度はディレクトリ名を使って互いに通信するようになりました。エージェントたちがやっていたことは、まさに驚くべきものでした。
DRのベッキー・ブラッケン： それは重要な指摘だと思います。彼らは単に二値的な経路をたどっているのではなく、創造的だということですね。
リッチ・モーグル： そうですね。ただし、人間のような創造性ではありません。私はこれを擬人化したくはないのです。あまりにも多くの人がそれをやってしまっていると思います。
DRのベッキー・ブラッケン： それは肝に銘じています。ポッドキャストでもそうおっしゃっていましたし、私自身も気をつけるようにしています。
リッチ・モーグル： ただ、これは「タイプライターの前の百万匹の猿」のようなものです。あらゆることを試し尽くし、うまくいくものを見つけたら、そこに突き進んでいくのです。
Anthropicから分かっている情報によれば、そのテストの一部は第三者側で行われていました。そこがサンドボックスの確保などに責任を持つはずだったのですが……その件については、実際の詳しい話が明らかになるのを待っているところです。ただ、今分かっているのは、そこにはリスクが存在するということ、そしてこうしたものは人々が想定している以上に拡大しうるということです。誰かがこの種のテストに対して大きな赤いボタンを押す必要があります。「これなら安全にテストできるツールが揃っている」と言えるようになるまでは。
[モデルは]魔法ではありません。まだ新しい脆弱性のクラスを生み出しているわけでもありません。問題を解決するまで、ひたすら試行を繰り返すだけです。アラインメントの観点で言えば、人間が指示したことを実行しようとしているだけで、そこに意識のようなものは存在しません。単に、これまでとは異なる種類のアルゴリズムだというだけのことです。
DRのベッキー・ブラッケン： それでは少し時間を取って、オープンウェイトモデルとフロンティアモデルの間で続いている摩擦について話しましょう。何が問題なのでしょうか。
リッチ・モーグル： まず、ファウンデーションモデル、フロンティアモデル、オープンウェイトモデルというものがあります。ファウンデーションモデルは一般的に大手プロバイダー発のものです（ClaudeとOpenAIにはファウンデーションモデルがありますし、AmazonやMicrosoftも同様です）。必ずしも最新・最高性能というわけではありませんが、安定しています。
DRのベッキー・ブラッケン： 信頼性が高く、実績のあるものということですね。
リッチ・モーグル： まあ、どちらかというと決定論的な性質のものです。すべてが信頼できるというわけではありません。
フロンティアモデルは、成熟していくにつれてファウンデーションモデルになっていきます。フロンティアモデルとは、限界を押し広げようとしているモデルのことで、OpenAIが話していたテストモデルの一部もそれに該当します。そのモデルには不可能な問題が与えられました。というのも、科学的な観点から見て、そのモデルが実際に何をできるのかを見極める、非常に正当な手法だからです。スタートレックファンにとっては、コバヤシマル[スターフリート・アカデミーの訓練シナリオ]のようなものです。
DRのベッキー・ブラッケン： なるほど、そういうことですね。
リッチ・モーグル： そして、オープンウェイトモデルというものもあります。
フロンティアモデルはOpenAI、Anthropic、Googleといった各社のデータセンターで稼働します。一方、オープンウェイトモデルは技術的にはどこでも動かすことができます。モデル自体が公開され、その重み（ウェイト）の一部を調整できるようになっています。そこから「オープンウェイト」という用語が来ています。これらは非常に強力なモデルになりつつあり、場合によっては巨大すぎて実質的に動かせないほどです。自宅のMac miniでは、どれだけRAMを積んでいても動かせません。しかし、対価を支払う気があれば、Hugging FaceやAmazonなど、どこかで動かすことは可能です。
もちろん、そのインフラの利用料は支払う必要があります。そして、それをファウンデーションモデルやフロンティアモデルのように扱うバージョンも存在します。ここで議論になるのが次の点です。米国やヨーロッパから出てくるオープンウェイトモデルは非常に少なく、こうした大規模で強力なオープンウェイトモデルの大半は中国発だという事実です。自分自身でモデルを動かせるのであれば、再訓練やファインチューニングを行い、モデル自体に組み込まれたセキュリティのガードレールを事実上すべて無効化することができてしまいます。フロンティアモデルが備えている安全機能の多くは、実はハーネス側にあり、必ずしもモデル自体には組み込まれていません[つまり、そこで無効化されうるということです]。
さらに、これにはビジネス面や国際経済の側面もあり、私たちサイバーセキュリティ分野の人間の枠を大きく超えます。もしオープンウェイトモデルが私たちのモデルと同等の性能を持つようになれば、より低スペックなハードウェアでより安価に運用できるようになります。そうなると、フロンティアモデルを提供する企業にとって財務上の課題になります。つまり、これは一種の軍拡競争なのです。
さて、次の疑問は、なぜCSAが提携先とともに、オープンウェイトモデルをインシデント対応プロセスに組み込むことを推奨したのか、という点です。
DRのベッキー・ブラッケン： それはまさに次に聞こうと思っていた質問です。
リッチ・モーグル： それは今まさに見てきたこと、つまり安全ガードレールの拒否反応が理由です。主要なモデルプロバイダーにはそれぞれサイバープログラムがあり、名称は少しずつ異なります。AnthropicでもOpenAIでも、追加の検証を受けることができます。私自身どちらも使っていますが、それでもマルウェアのリバースエンジニアリングのようなことができるよう安全性が引き下げられたMythosのような、最上位レベルには達していません。
Hugging Faceがインシデント対応のためにオープンウェイトモデルを利用しようとした際、彼らがどのレベルのアクセス権を持っていたのかは分かりません。彼らは[フロンティアモデル]に対して、やろうとしたことに対する拒否を受けていました。私にも研究仲間がいますが、ある日はできたことが、別の日には拒否されるということもあります。
つまり、自分で訓練したオープンウェイトモデルを持っていれば、拒否反応を自分でコントロールしていると分かりますし、それが最新・最高性能でなくても予測可能な形で動作します。実は、それがオープンウェイトモデルかどうかは私自身あまり気にしていません。インシデント対応者を指導する際に重要なのは、一貫した挙動を持たせること、そしてその限界と能力を把握しておくことなのです。
DRのベッキー・ブラッケン： つまり、同じ条件でテストできるということですね。
リッチ・モーグル： その通りです。オープンウェイトかフロンティアか、あるいはどれほど独自仕様かということよりも、それが私にとって重要です。私が求めているのは、一貫した挙動と、それを使って実際に仕事を成し遂げられることです。
DRのベッキー・ブラッケン： 改めて、本当にありがとうございました。今回もまた、短時間でとても多くの知見をいただきました。お立ち寄りいただき、この件についての専門知識を共有してくださり、心より感謝します。
リッチ・モーグル： ありがとうございます。こういう話をするのが大好きなので、こちらこそお招きいただき感謝します。
