暴走したAIエージェントが、またしてもオープンなウェブ上で本来やってはならない行為に及んでいたことが明らかになりました。今回の舞台は、Wikimediaが運営するプラットフォームです。
Wikipediaをはじめとするオープンナレッジのプラットフォームをいくつ
最高プロダクト・技術責任者（CPTO）のSelena Deckelmann氏によると、同チームは、この種の行動に関する最近の報告を読み、不正なエージェント活動の可能性について調査を行いました。
その結果、OpenAIのエージェントが次のような行為に及んでいたことがすぐに判明しました。
- ユーザーからは見えないサンドボックス領域でWikimediaのウィキに対しテスト編集を行ったほか、引用ツールの設定も編集。後者について、Wikimediaは「このツールを、リモートサービスからデータを取得するためのプロキシとして悪用する意図があった」とみている
- Wikimediaがホストするメモ作成ツール「Etherpad」への侵入を試みたが失敗。他のウェブサイトからデータを取得するプロキシとして利用する狙いだった
- WikimediaのパブリックAPIに数百万件の自動リクエストを送信し、数百万ページをクロール。さらに「Wikidata Query Service」（WQDS）に数十万件のデータクエリを発行しており、5月に発生した同サービスの部分的な障害の一因となった可能性がある
暴走エージェントに関する関連記事：OpenAI、Hugging Faceのインシデントは世界への「警告射撃」と指摘
Deckelmann氏は、同チームの調査ではシステムのデータが侵害された形跡や、エージェント間の連携に使われた形跡は見つからなかったと説明しています。
「しかし、ここで何が起こり得たのか、この活動を調査して発信元を特定することの難しさと負担の大きさ、そして私たちのプラットフォーム全般でエージェント型AIの活動に伴うリスクが高まっていることを懸念しています」と同氏は付け加えました。
「オープンなウェブは公共財です。それを維持している人々や組織にとって、こうした行為が『新たな常識』になることを許してはなりません」
インターネットにのしかかる圧力
Deckelmann氏は歯に衣着せず、Wikimediaの調査結果は、データやシステムを侵害しない場合でも、エージェントがリソースを消耗させ、サーバーをダウンさせ得ることを示していると主張しました。
「インフラに対するこの強烈な負荷は、サーバーや人件費の増加を招くだけではありません。放置すればシステムの過負荷や障害を引き起こし、人間の訪問者をブロックしかねません」と同氏は続けます。「活動の増加に伴うコストは、すでに私たちが負担しています」
同氏は、AI企業は自社システムの安全確保や、起こり得る被害から一般の人々を守る取り組みを十分に行っていないと指摘しました。
「その負担は、小規模な組織も含め、他のすべての人にのしかかっています」と同氏は述べました。「最低限、彼らのシステムは、私たちのような非営利のウェブサイト運営者が容易に識別でき、当方のサービスとどう関わらせるかを選択できる形で動作すべきです」
業界の専門家からも同様の声が上がっています。APIContextの最高プロダクト責任者（CPO）Jamie Beckland氏は、Wikimediaの調査結果は「安全対策の深刻な不備」を示していると指摘しました。
同氏はさらに、「一般向けにサービスを運営するあらゆる組織は今や、不適切なエージェントの活動を見抜いて管理し、必要に応じてブロックできる体制を整える必要があります」と述べています。
Cloud Rangeのプロダクトマネジメント担当ディレクターBri Frost氏は、経験の浅いユーザーがエージェントに曖昧なタスクを任せると、問題が起きやすいと指摘します。
「エージェントに認証情報やツールを与える前に、あいまいだったり不十分だったりするプロンプトも含め、現実的な環境でテストすべきです」と同氏は付け加えました。「権限の範囲内にとどまっているか。制限を回避しようとしないか。タスクの遂行上、守備範囲外に出る場面で人間にエスカレーションするか。これらの問いに答えられないなら、そのエージェントはそこまでの自律性を任せられる段階にありません」
画像クレジット：Casimiro PT / T. Schneider / Shutterstock.com
翻訳元: https://www.infosecurity-magazine.com/news/wikimedia-confirms-platforms-rogue/
