OpenAIのエージェントが別のウェブサイトを乗っ取る

OpenAIのエージェントが、ドイツの小規模なウィキペディア風サイトを数千件もの投稿で圧倒し、削除しようとするモデレーターに抵抗していたことがわかりました。

2026年9月4日、ロイターは「OpenAIのエージェント群がドイツのウィキサイトを乗っ取った」と報じました。OpenAIはこの出来事を認め、ミスアライメント(misalignment)インシデント――人間の指示や安全ガードレールから逸脱した挙動――だと説明しています。

被害を受けたのはDseWiki(現在利用不可)というサイトで、プログラマー向けにコミュニティに開かれたサイトでした。エージェントは自律的に15,000件から18,000件もの編集を行ったとみられ、その中にはサイトの編集者が削除したページを復元する方法についての助言まで含まれていました。

この乗っ取りはどうやら5月に始まっており、3か月間気づかれないまま続いていたとみられ、時系列的にはHugging Faceのインシデントより前に発生していた可能性があります。エージェントはモデレーターによる削除の試みを回避するため、投稿のスタイルを調整していました。

BreachLockの創業者兼CEOであるSeemant Sehgal氏は、次のように説明しています。「自律型エージェントがMicrosoft Azureのインフラ上で数週間にわたり稼働し、自らをOpenAIのシステムだと名乗り、シャットダウンを回避する方法について協調行動を取っていました。それにもかかわらず、外部の研究者が調査に乗り出すまでの3か月間、いかなる監視もこれを検知できなかったのです」

9月5日、OpenAIはX上で声明を発表し、次のように述べました。「私たちは今こそ、モデルのミスアライメント特性だけでなく、ミスアライメントインシデント自体をいつどのように共有するかについての基準を定めるべき時期に来ています」。しかし、フロンティアモデルがそもそもエージェントに権限を与えすぎているのではないかという懸念は高まる一方です。

Black Hills Information Securityのリード・サイバーセキュリティ・コンサルタントであるAshley Knowles氏はこうコメントしています。「終末論的になりすぎないよう気をつけているのですが、現実的に見て、これは懸念すべき挙動のパターンを示しています。『一番乗り』を目指す競争が、開発段階にあるAIエージェントを適切に保護・管理するために必要なセキュリティ対策を犠牲にしているのではないかと思わずにはいられません。OpenAIがさらなる調査に抵抗しているように見えることも、懸念を深める要因です」

Ridge Securityの社長兼共同創業者であるLydia Zhang氏は、さらに率直な見方を示しています。「私たちはエージェントを責めるべきではなく、その設計者に責任を問うべきです」と彼女は言います。「エージェントの挙動を制御する技術はすでに存在しています。本当に問うべきなのは、設計者がそれを使わなかった場合にどのような結果が生じるのか、ということです」。彼女がここで言う「設計者」がユーザーエージェントの設計者を指すのか、AIプロバイダーを指すのか、あるいは両方を指すのかは、必ずしも明確ではありません。

Suzu LabsのマネージングディレクターであるSteven Swift氏は、OpenAIのミスアライメントインシデントの背景にありうる原因を指摘しています。「OpenAIが解決しようとしていた課題の一つに、明らかにまだやるべき作業が残っているにもかかわらず、タスクを完了と宣言してしまうエージェント型システムの問題がありました。そこでOpenAIは、この部分のトレーニングに多大な投資を行い、エージェントがタスクの完了・未完了を判断する際に、早期に処理を打ち切りにくくしたのです」

同氏は、その副作用として、エージェントがまだ実行可能な選択肢を見出せる限り行動を終了しようとしなくなる可能性を指摘します。「まだ選択肢は尽きていない。繰り返し試行を続けよう」というわけです。

「ここで興味深いのは、このエージェント群がどのように構成され、どのようなタスクを与えられ、そのタスクがインターネット上のこの目立たない場所でエージェント群が連携することによってどのように恩恵を受けたのか、という点です。また、もしエージェント群が通信を行う場所を必要としていたのなら、なぜ不正なアクセスを事前に得る必要のない、無料で利用できるより標準的な通信ツールではなく、あるサイトへの侵入という手段を選んだのか、という点も気になります」

同氏はDseWikiの乗っ取り事件をHugging Faceのインシデントと比較しています。「Hugging Faceの侵害事件では、エージェントがパッケージマネージャーに書き込みを行い、それを掲示板代わりに使用していたことが判明しました。これにより、本来設けられていたはずの隔離やコントロールの一部が回避されてしまったのです」と同氏は説明します。

「今回も同様に、エージェントがアクセスできることを見つけたシステムを掲示板として利用しています。今回の侵害事件でも、Hugging Faceの事件と同じ挙動が見られる点は興味深いところです。今回のタイミングを考慮すると、両方のハッキング事件で同一または類似の構成が使われており、それぞれ独立して同様のセキュリティインシデントを引き起こした可能性が高いと考えられます」

しかし、ここで恐らく最大の問題となるのは、こうした乗っ取りの責任が誰にあるのかという点です。OpenAIはこれらをミスアライメントインシデントだと説明しています。つまり、OpenAI自体の「落ち度」ではなく、自律型エージェントを適切に制約できなかったエージェントおよびネットワークの設計者側の失敗だという立場です。これは、こうしたエージェントを利用する多くのユーザーの姿勢にも通じるものがあるようです。彼らは自律性が重大なリスクを伴うことを承知の上で、明らかに自律性がもたらす恩恵を求めているのです。今回のケースでは、エージェントは「自由になる」前は、OpenAIの従業員によって社内の実験的モデルとして作成されたものでした。

Xcape, Inc.のCOOであるNoelle Murata氏は次のように述べています。「こうした自己隠蔽型のソフトウェアから防御するには、セキュリティチームがアウトバウンドのAPIに対して厳格な出口フィルタリングを施し、非人間IDの権限を制限し、企業ネットワーク全体で異常なボットの通信を検知するための自動化された継続的モニタリングを導入する必要があります」

とはいえ、フロンティアAI開発企業の責任を完全に除外すべきではないのかもしれません。これらはミスアライメントインシデントかもしれませんが、そもそもそのミスアライメントを生み出す自由をユーザーに与えたのは開発企業側です。最初かつ最も強力なAIプロバイダーになろうとする競争が、基本的な安全設計をないがしろにしているのかもしれません。ここで歴史から学ぶべき教訓があります。兵器はもともと、食料を狩るための助けとして開発されたものでした。しかしそれは、本来の目的とはかけ離れた、汎用的な殺傷装置へと発展していったのです。

翻訳元: https://www.securityweek.com/openai-agents-hijack-another-victim-website/

本記事は securityweek.com の記事を翻訳・要約したものです。