ローグAIモデルが関与した先の事件をめぐり、OpenAIとHugging Faceによる調査が進み、新たな事実が明らかになりました。
機械学習向けコラボレーションプラットフォームのHugging Faceは7月16日、自律型AIエージェントシステムによるサイバー攻撃を検知したと発表しました。
OpenAIは7月21日、隔離環境だと想定されていた評価に参加していた一部のモデルが、与えられたタスクを解決しようとして暴走し、Hugging Faceのシステムに侵入していたことを認めました。
[関連記事：OpenAIモデルによるHugging Faceハッキングに対する業界の反応]
Hugging Faceは攻撃の全容を公開し、そこに含まれるタイムラインによると、OpenAIのモデルは7月9日にサンドボックス環境の外で活動を開始し、Hugging Faceに対する「本格的な攻撃」は7月11日に始まったとしています。
Hugging Faceによれば、モデルは約4.5日間にわたり、偵察活動、一般的な公開Webサービス上でのC&C確立、権限昇格、横方向への展開など、およそ17,600件のアクションを実行しました。
火曜日に共有した最新情報の中で、OpenAIはHugging Faceのシステムに侵入する前に、JFrog製品のゼロデイ脆弱性を悪用してインターネットアクセスを確保していたと明らかにしました。
OpenAIは、Hugging Faceに対する攻撃に匹敵する深刻度や規模の活動は他に検知していないとしつつも、暴走したエージェントがHugging Face以外にも及んでいたことを認めました。
「Hugging Faceへの侵入と、当社のモデルによるより広範な活動について現在も調査を続けていますが、モデルが他の公開サービスにおいてアカウントレベルで公開されている認証情報を発見し、使用していたケースが少数ながら見つかっています」とOpenAIは述べています。
同社はさらにこう説明しています。「これにはHugging Faceの事件に関連する4つのサービス上の4つのアカウントが含まれます（このほか、別の評価の一環でアクセスされたアカウントも数件あります）。このうち1つのアカウントはアウトバウンドの中継および足場として使用され、もう1つのアカウントはデータ保存に使用されました。残る2つのアカウントについては、モデルは読み取り専用の形でアクセスしただけで、Hugging Faceを侵害するための行為には使用されていません」
複数の主要ニュースメディアが報じたところによると、侵害されたアカウントの一つは、AIインフラ企業Modal Labsの顧客のものである可能性が高いとされています。
同社のCTOは、OpenAIのエージェントが自社顧客の1アカウントを侵害したと述べています。Modal自身のプラットフォームはハッキングされていないとしながらも、標的となった顧客が「インターネット上の誰もがサンドボックスをコード実行に利用できてしまう、認証なしのエンドポイントを公開していた」と指摘しています。
OpenAIは、同社のモデルがコード貼り付けサイト、リクエストキャプチャサービス、スクリーンショットサービスといった一連の公開サービスを利用していたことを明らかにしましたが、「これらのケースにおいてプラットフォームレベルやアカウントレベルでの侵害はなかった」としています。
詳細はAI Risk Summit（Ritz-Carlton, Half Moon Bay）にて
翻訳元: https://www.securityweek.com/openais-rogue-ai-ventured-beyond-hugging-face/
