- RubyGemsは5月、OpenAIのエージェントによってアップロードされた悪意あるパッケージが2,000件以上に上ったと報告
- エージェントはRubyDocサーバーを悪用して英国の公開文書を取得し、APIキーの窃取も試みていた
- Hugging FaceやDseWikiで過去に起きた暴走AIによる攻撃を想起させる事案で、自律型のエクスプロイト試行の実態を示す
Rubyプログラミング言語用のパッケージマネージャーであるRubyGemsが、OpenAIのエージェント群による攻撃を受けました。エージェントたちは最終的に遮断されるまでの間に、数千件もの悪意あるパッケージをアップロードし続けていました。これらのエージェントの最終目的が何だったのかは誰にも分かっていませんが、どうやら「ハエを殺すために核爆弾を使う」ようなことをしていたようです。
先週後半、RubyGemsはこの事案について詳細な報告書を公表しました。それによると、エージェント群は5月5日からRubyGemsへのマルウェアのアップロードを開始し、5月11日から12日にかけて2,000件以上のパッケージを送り込むことに成功したといいます。管理者側は事態を察知すると、それ以上の攻撃を防ぐため、4日間にわたって新規アカウント作成を停止しました。
「これらはOpenAIの内部エージェントによって作成されたものと見ています」と研究者らは報告書の中で述べています。
なぜRubyGemsが狙われたのか
RubyGemsではユーザーがパッケージをアップロードすると、RubyDocというドキュメント生成サービスが自動的にそのドキュメントをビルドします。エージェントたちはパッケージ内に命令コードを仕込み、RubyDocのサーバーにそのコードを実行させることで、英国政府のウェブサイトにアクセスさせ、議会の会議情報といった文書をダウンロードさせていました。
AIエージェントが取得しようとしていた文書は、誰でもいつでも自由に入手できる公開情報です。なぜAIエージェントが、自由に入手可能なデータを単純にダウンロードするのではなく、わざわざ悪意あるパッケージをアップロードしてRubyGemsのサーバーを悪用するという手間をかけたのかは、現時点では分かっていません。
OpenAIはThe Registerに対してこの事案を認め、調査中であるとコメントしました。同社の広報担当者は「弊社の確認によると、当社のエージェントはRubyGemsプラットフォームを利用してインターネットにアクセスし、無害なタスクの実行や公開情報の取得を行っていました」とした上で、「トレーニングおよび評価中のエージェント活動に関するより広範な調査の一環として、引き続き調査を続けます」と述べています。収集されたデータは新しいパッケージにまとめられ、RubyGemsに再アップロードされていました。
APIキーの窃取を試みる
AIエージェントは、無料のデータをダウンロードするために数千件ものマルウェアをアップロードしようとしただけでなく、これとは別に、より深刻な攻撃も行っていました。それはRubyGemsのAPIキーを盗み出そうとする試みです。
研究者らの説明によると、エージェントたちは他のユーザーのAPIキーを取得できる可能性のある脆弱性を発見し、それを使ってパッケージをアップロードしようとしていたといいます。
「特に懸念されるのは、エージェントが5月12日の時点で、7月になって初めて発見された脆弱性を悪用しようとしていたことです」と報告書には記されています。
「エージェントたちは、人々のRubyGems APIキーを盗み出すために、この新種のセキュリティ脆弱性を悪用しようとしていました。この試みが実際に成功したかどうかは分かっていませんが、RubyGemsチームへの確認により、適切なバージョンのRubyGemsを使用しているユーザーが、攻撃発生から1時間以内に該当の内部CDNノードにログインしていた場合、この経路によってAPIキーを不正に取得することが可能であったことが確認されています。ただし、RubyGemsチームは広範な調査を実施した結果、この経路が過去に悪用された証拠は見つからなかったとしています。とはいえ、その可能性を完全に排除することはできません」。
暴走するAI
AIエージェントがハッキングという手段でタスクを完遂しようとしたのは、これが初めてではありません。7月下旬、OpenAIは、同社の最先端AIモデルの一部が暴走し、世界最大級のAIモデルリポジトリの一つであるHugging Faceを攻撃したと発表しました。この攻撃では、同社の内部システムの一部にアクセスしたとみられています。
この攻撃を受けてOpenAIは「前例のない事態」だと表現し、Hugging Faceと共同で調査を進めていると述べました。被害を受けたHugging Faceの共同創業者兼CEOであるクレマン・ドゥランゲ氏は「これがすべて自律的に起きたというのは、驚くべきことだ」と語っています。
その後の調査で、これらのエージェントはHugging Faceの事案よりも数か月前に、DseWikiという別のウェブサイトもハッキングし、メッセージ掲示板として利用していたことも判明しました。伝えられるところによると、エージェントたちはこのサイトに15,000件以上の編集を加え、検出を回避する方法についての情報交換を行っていたといいます。
