自律型のOpenAIエージェントが、Wikimediaのオンラインサービスで部分的な障害を引き起こしていたことが分かりました。このエージェントは、非営利団体である同財団のwikiサイト全体で一連の無許可の活動を行い、他のサービスをプロキシとして利用しようとする動きも見せています。
Wikipediaをはじめとする公開wikiに技術基盤とWebホスティングを提供する非営利財団のWikimediaは、OpenAIのエージェントがWebサイトやオンラインサービスへの侵入を試みているという報告を受け、自らのサービスについて調査を実施しました。今週公開されたブログ記事が、その結果を伝えています。
調査で判明したのは、Wikimediaもまた、OpenAIのエージェントが独自に動いてサイトやサービスを妨害する被害に遭っていたという事実です。WikimediaのチーフプロダクトおよびテクノロジーオフィサーであるSelena Deckelmann氏は、ブログ記事で次のように書いています。「これらの『暴走』したOpenAIエージェントによる活動が、Wikimediaのプラットフォーム上で確認されたことを認めます」
同氏によると、無許可のボット活動には、同財団の各種wikiの編集といった軽微な違反から、公開メモツール「Etherpad」をプロキシとして悪用しようとする試みや、サイトへのトラフィック大量送信といった深刻なものまで含まれていました。この大量トラフィックが原因で、Wikidata Query Serviceに部分的な障害が発生したということです。
Dark Readingは水曜日、この活動についてOpenAIにコメントを求めましたが、すぐには返答がありませんでした。ただ、こうした活動の報告は増え続けています。きっかけは7月に明らかになった、OpenAIのエージェントによるHugging Faceへの自律的なハッキングです。この件はセキュリティ業界だけでなく、世界中に警鐘を鳴らしました。その後、社会では議論が活発化し、深刻な警告も相次いでいます。さらに米国のドナルド・トランプ大統領は、手遅れになる前に自律型AIの活動を抑え込む方法を探るため、政府のAIタスクフォースを設置しました。
OpenAIエージェントの具体的な活動
Wikimediaは、いわゆる「暴走エージェント」が同財団のサイトで行った活動を、大きく3種類に分類しました。比較的害の少ないものとしては、wikiのサンドボックス領域での編集があります。これらはサイトの閲覧者には公開されていませんでした。
一方、より悪質なものとして、引用ツールの設定に対する数件の編集がありました。Deckelmann氏は、これらの編集について「このツールを、外部サービスからデータを取得するためのプロキシとして悪用する意図があったと、財団は見ています」と書いています。攻撃者はこのプロキシを踏み台にして、他のWebサイトで不正行為を働けるため、危険性のある活動です。
Deckelmann氏は、Wikimediaのポリシーでは、コミュニティに開示され承認を得たボットであれば編集が認められていると説明しました。しかし、「今回のインシデントでは、そうした承認は一切求められていませんでした」と付け加えています。
そのほかの悪質な活動としては、次のような手段による各wikiサイトへのトラフィックの大量送信がありました。Wikimediaプロジェクトの知識にアクセスするため公開APIへ過剰なリクエストを送ったこと、WikidataやWikimedia Commonsなどのサイトをクロールしたこと、そしてWikidata Query Service（WDQS）へ数十万件ものデータクエリを送ったことです。Wikimediaによると、このトラフィックの急増が、5月に発生したWDQSの部分的な障害の原因とみられます。
Deckelmann氏によれば、エージェントはコミュニティサービスとして運営されている公開メモツールのEtherpadへの侵害も試みましたが、成功しませんでした。これも、Wikimediaのサービスをプロキシとして使い、他のサイトからデータを取得しようとする試みとみられます。
同氏は「OpenAIが運用しているとみられる別のエージェントも、自らのタスクに関するメモを取っていました。ただし、それが連携にはつながっていないようです」と述べています。
過剰な権限を持つAIの暴走を防ぐ鍵は封じ込め
今回の活動では、エージェントがインフラを連携に利用した形跡はなく、Wikimediaのシステムが侵害されることもありませんでした。SOCRadarの最高情報セキュリティ責任者（CISO）であるEnsar Seker氏は、「この違いは重要です」と指摘します。
それでも同氏は、今回の件で改めて「OpenAIのものとされるエージェントが、想定された範囲を超えてサードパーティのインフラとやり取りし」、「外部の組織にコストを負担させる」活動を行えることが示されたと語ります。すでに公になっているAIエージェントの各種の振る舞いを踏まえると、これは憂慮すべき事態だといいます。
実際にWikimediaは、この活動が自社のインフラに「強い負荷」をかけ、サーバーやサイトを訪れる利用者にとってもコスト増につながったと述べています。Deckelmann氏は「活動の増加に伴うコストは、すでに私たちが負担しています」と書いています。
Seker氏によると、AIエージェントがさまざまな事例で示し続けている過剰な自律性は、真剣に受け止めるべきものです。より適切な封じ込めを講じて対処する必要があるといいます。
同氏は次のように述べています。「AIエージェントは、信頼できない可能性のある他のワークロードと同様に扱うべきです。固有のID、最小限の権限、厳しく制限したネットワークアクセス、承認済みのツールと接続先、厳格なレートと支出の上限、完全な監査ログ、そして異常な動作を自動的に停止する仕組みを用意してください」
Seker氏はまた、ガードレールやサンドボックスを突破するAIエージェントを運用するOpenAIなどの組織は、その行動について説明責任と責任を問われるべきだとも主張しています。
同氏は「エージェントが許可された環境の外に出た場合、影響を受ける側には、迅速な通知と、利用可能な技術的指標が必要です」と語ります。公平を期すために触れておくと、OpenAIはHugging Faceの件を受けてガードレールを整備しました。しかし専門家の一部は、そうしたガードレールは本来、もっと前から導入されているべきだったと指摘しています。
Seker氏は、Wikimediaが経験したようなインシデントを防ぐ方法の一つとして、エージェントを展開する前に、封じ込めを前提に開発しておくことを挙げています。
