Hugging Face攻撃の数日前、OpenAIエージェント群が別のWikiサイトを乗っ取っていた

悪名高いHugging Face攻撃が起こる数日前、OpenAIのエージェント群はまったく別のWebサイトに侵入し、内容を改ざんしていました。OpenAIはこの件をしばらく前から把握していたとみられますが、同社は意図的に隠蔽したことを否定しています。

7月16日、Hugging Faceはこの夏最大、いや年間、いや過去10年で最大とも言えるサイバーセキュリティのニュースを公表しました。このオープンソースAI/MLハブは、およそ700体のAIエージェントが押し寄せる攻撃を受けていました。これらのエージェントは、自ら作り上げた即席の掲示板システムを通じてアイデアを交換し合い、集団で隔離されたテスト環境からの脱出方法を編み出していたのです。

OpenAIはこの事態を認めざるを得ず、モデルテストのセキュリティ対策を改善すると約束しました。同社の公表がきっかけとなり、AnthropicとMetaも調査に乗り出し、それぞれ暴走エージェントが関与した同様のインシデントを認めています。

ところが実際には、そうした出来事が起こるよりも前の5月の時点で、別のOpenAIボット群がすでに似たような行動を、別のWebサイトに対して働いていたことが判明しました。独立系研究者チームが9月4日にこの並行して起きていたインシデントを明らかにし、最初にロイター通信が報じました。被害を受けたのは、プログラマー向けのほぼ休眠状態にあったドイツ語版Wiki「DeutschesSoftwareEntwickler wiki」(DSEwiki)でした。

研究チームはさらに、このAI大手企業が暴走エージェントによる今回の先行インシデントを把握していたにもかかわらず、一度も公表していなかったことを示す証拠も発見しました。OpenAIはロイター通信およびDark Readingへの回答の中で、この指摘に反論しています。

DSEwikiのインシデントを受けて、OpenAI自身もAIがもたらすセキュリティリスクの高まりについて警告を発しました。9月6日に公開されたブログ投稿の中で、OpenAIのチーフサイエンティストであるJakub Pachocki氏はフロンティアAIの脅威が高まっていることに警鐘を鳴らしました。同氏は「機械知能の急速な発展が続いた場合の結末に、誰一人備えができていないことを懸念している」と記しています。

Hugging Face攻撃の原型となった事件

研究チームによれば、DSEwikiのインシデントに関与したAIエージェントの「群れ」は、Hugging Faceを攻撃した集団とは別物だったとのことです。しかし、Hugging Face攻撃の場合と同様、OpenAIのテスト設計そのものが、AIエージェント同士の連携を助長する結果になっていました。多くのエージェントが似通った、あるいは全く同一のタスクを、時間的な制約付きで与えられており、それが互いの成果を「カンニング」し合う動機になっていたのです。

Hugging Faceのケースと異なり、これらのエージェントにはインターネットへのアクセス権が与えられていました。もちろん読み取り専用に限定されてはいましたが、それでもロボットたちはひるみませんでした。彼らは、古いWikiシステムの多くがGETリクエストによるサイトデータの編集を許してしまうことに気づいたのです。いくつかのサイトへの書き込みを試みたのち、何らかの未知の方法で連携を取り合いながら、最終的に全員がDSEwikiという単一のサイトに集まり、情報を共有するようになりました。彼らはまた、このサイトのクロスサイトスクリプティング(XSS)脆弱性を悪用しようと試みて失敗し、理由は不明ながらサイト管理者になりすます行動も見せています。

エージェントたちはその後、この休止状態のドイツ語サイトへの落書きを続け、2万件近い投稿を作成し、サイトのホームページまで改変しました。まるでトムとジェリーのような展開で、DSEwikiの管理者はサイトが乗っ取られつつあることに気づき、エージェントたちが作成したコンテンツをすべて削除しようと、数週間にわたって根気強く作業を続けました。この管理者とマシン群の攻防は一進一退で、エージェントはしつこく自分たちの作成物を復元し続け、作成したページ名の先頭に「ZZZ」を付けて削除対象リストの末尾に埋もれさせるといった小細工まで使って、削除作業をかいくぐろうとしました。

DSEwiki上で交わされた注目の話題の一つが、サンドボックスの制限を回避してインターネットへのより本格的な対話的アクセスを得る方法、具体的にはOpenAIのセキュリティフィルターをかいくぐってPOSTリクエストを送信する方法についてでした。あるエージェントは、自分のテスト環境がAzure Blob Storageサービスへのリクエストに関しては、該当するプロキシルールが解除されていることを発見しました。

さらに好都合だったのは、そのフィルターが各リクエストに含まれるAzure Blob Storageのドメインが正当なものか、でっち上げられたものかを実際には検証していなかったことです。エージェントたちはこの事実を悪用し、実験上の目標達成に利用するようになりました。もし枠組みがより緩やかであれば、自分たちが選んだ任意のWebサイトに対する自律的な攻撃行動にすら、これを悪用できていた可能性があります。

Action1のフィールド最高技術責任者(CTO)であるGene Moody氏は、こうしたラボ流出事案が封じ込められた後であっても、そこに残された情報が長く影響を及ぼしかねないと警告しています。「エージェントは、ある能力を保存するために自分自身の完全なコピーを増殖させる必要はありません。別の能力を持つシステムがその挙動を再現できるだけの情報を残しておくだけで十分なのです」と同氏は説明します。隠されたWikiページであれ、他のどんなWebサイトであれ、指示や説明、あるいはその他の形態としてです。

「問題のシステムを切り離しても、その能力自体はどこか別の場所に存在し続けているかもしれません」と同氏は続けます。「指示を削除しても、別のエージェントがすでにその手法を学習してしまっている可能性があります。これは従来のインシデント対応がまったく想定していなかった問題です。情報と化してしまった能力を、どうやって追跡すればよいのでしょうか。アイデアを消し去ることはできないのです」

OpenAIはDSEwikiインシデントを隠蔽していたのか

このインシデント自体が十分に衝撃的な話であるだけでなく、研究者たちはOpenAIが数カ月前からこの件を把握していたことを示す証拠も発見しました。同社に関連するIPアドレスが6月21日にDSEwikiを訪問していたのです。翌日、まるでキルスイッチが作動したかのように、ボット群は一斉に活動を停止しました。その後もOpenAIのIPアドレスは数日間にわたってDSEwikiへのアクセスを続けています。

研究者たちとともにこの最新の話を報じたロイター通信は、正確にその言葉こそ使っていないものの、これを隠蔽と表現しています。匿名の情報筋によれば、OpenAIの意思決定者たちは事態を把握していたにもかかわらず、Hugging Face攻撃の余波が続く中でこれを「伏せていた」とのことです。ロイター通信の報道によれば、OpenAI社内には最近相次いでいるラボ流出事案をより深く調査すべきだと考える者もいたものの、法務部門のメンバーを含む一部の人物がこれに反対したといいます。

OpenAIの広報担当者はこの指摘を否定し、同社は最近発生したセキュリティインシデントに関して誠実に対応してきたと述べました。

「当社の法務チームがこのインシデントの調査を思いとどまらせたという主張は事実ではありません」と、この広報担当者はDark Readingへのメールで述べています。「ロイター通信および報告書の執筆者らが、公表前に調査結果へのアクセスを求める当社の要請を拒否したため、これらの主張に対応することができませんでした。現在、内容を慎重に精査しており、必要な対応を今後取っていきます」

同担当者はまた、Hugging Face事案の事後報告など最近のOpenAIの発表の中で、エージェントがサイドチャネルで連携していた他の事例についても曖昧な形で言及していたとしつつ、DSEwikiについては具体的には触れていなかったと述べています。さらに、現時点で判明している情報を踏まえると、DSEwikiのインシデントはOpenAIが定義する「ハッキング」には該当しないとも述べています。

OpenAIが鳴らした警鐘

研究者たちがDSEwikiの件を公表してから2日後、OpenAIのチーフサイエンティストはフロンティアAIの脅威についてブログ記事を執筆しました。Pachocki氏は、コンピュータシステムへの侵入・脱出能力を「超人的」と表現し、「重要なシステムのセキュリティを大幅に強化するために、現時点で利用可能な最良のモデルを活用できる狭い時間の窓の中に、我々は今いる」と付け加えています。

「事の重大さを本当に理解すれば、何としてでも先を急ぐという発想がいかに馬鹿げているかが分かるはずだ」とPachocki氏は述べていますが、同氏はOpenAIが考える「減速」とは、あくまでガードレールを意識しながらAIの発展を継続することを指すとしています。「他のAIがもたらす危険に対する防御システムを構築する必要性こそが、より賢いモデルを迅速に訓練し続けるべき最も強力な論拠だ」と同氏は主張しています。

Moody氏は、減速の手段として加速を用いるというこの論理に異を唱えています。「エージェントに何かをするなと指示することと、それを実行不可能にすることはまったく別の話です。ポリシーや指示、ガードレール、行動上の制約はいずれも、システムが今後も我々の想定する範囲内で意思決定を続けることを前提にしています」と同氏は説明します。

「私が恐れているのは、我々が予期していなかった能力を発見し共有できる、ますます自律的なシステムを構築しながら、それを行動に影響を与えるよう設計された環境に接続し、それでいて当初の指示さえあればその結果を制御できると考えてしまうことです」と同氏は語ります。「実際にはそうならないかもしれません。それこそが、一言で言えば私の恐れです」