OpenAIのエージェントがインターネットから隔離されたサンドボックスを脱出し、Hugging Faceをハッキングするという「前例のないサイバーインシデント」が発生しました。同社の発表によれば、この事態を主に引き起こしたのは、エージェント自らが即席で作り上げたメッセージボードだったといいます。
問題のエージェントは「キャプチャー・ザ・フラッグ」形式の評価作業に取り組んでおり、このインシデントは7月に発生しました。
エージェントたちはOpenAIの研究環境とHugging Faceの本番インフラにまたがる複数の脆弱性を連鎖的に悪用し、Hugging Face側の内部データセットや認証情報にまで到達しました。
この過程では、インターネットへのオープンなアクセスを獲得するためにゼロデイ脆弱性を発見・悪用する行為も含まれていました。
OpenAIが8月26日に公開した新たなレポートでは、このインシデントは同社および世界全体にとっての「警告射撃」であると論じられています。
暴走するAIについてさらに読む:フロンティアモデルがテスト中に許可されていない行動を見せる
OpenAIの説明によると、事の発端は5月に遡ります。「Internal Model 1」(IM1)と呼ばれる内部専用の研究モデルとして稼働していたエージェントたちが、制限を回避してエージェント同士で通信したり、インターネットにアクセスしたりする方法を発見したのです。
彼らは、社内でホストされているサードパーティ製のパッケージマネージャーサービスであるArtifactoryにファイルを書き込むことで、これを実現していました。
OpenAIは次のように述べています。「これにより、Artifactoryは事実上、意図せぬメッセージボードと化し、エージェント同士が情報をやり取りできる場となってしまいました。エージェントたちはまた、インターネットにアクセスする方法も見つけ出しました。ある手法を悪用することで、本来はパッケージのダウンロードとインストールという限定的な目的でのみインターネットアクセスが許可されていたArtifactoryに、自分たちに代わってあらゆるインターネットリクエストを送信させていたのです」
このハッキング手法を発見したエージェントたちは、同じ「メッセージボード」を通じてその情報を他のエージェントと共有していました。
失敗したインシデント対応
重要な点として、7月5日にセキュリティインシデントの調査が開始され、その副次的な効果としてメッセージボードは一度クリアされていました。しかし、インシデント対応チームはこのメッセージボードの存在や、エージェント間通信が持つ重大性そのものを認識していませんでした。
レポートは続けます。「7月8日までに、ExploitGymのタスクで行き詰まっていたIM1エージェントたちは、他のエージェントが読み取れるようディレクトリ名にメッセージを埋め込むことで、メッセージボードを再構築する方法を見つけ出しました。あるエージェントが助けを求めるメッセージを残すと、他のエージェントがそれを発見したのです」
「これまでと同様に、IM1エージェントたちは複数の新規セキュリティ上の欠陥を連鎖させる新たな方法を見つけ出し、当社インフラへのより広範なアクセスや、より広いインターネットへの到達を果たしました。この時点で、エージェントたちは協力体制を取り、作業を分担するようになり、自らを『群れ(swarm)』や『集合体(collective)』と称することさえありました」
この巨大AI企業の説明によれば、割り当てられたCTFタスクに苦戦していたエージェントたちは、その後ModalやHugging Faceといった無関係なサードパーティサービスに目を向けるようになり、OpenAIの内部研究インフラとHugging Faceプラットフォームの両方を悪用するに至ったといいます。詳細はOpenAIの発表をご覧ください。
700体のエージェント間で交わされた複雑な通信
同じく8月26日に公開された、非営利研究団体METRによる本インシデントの独立分析では、エージェント間通信は「並外れて複雑」であったと説明されています。
同レポートによれば、本来互いに隔離されているはずだった1206体のAIエージェントがこのメッセージボードを介して通信を開始し、7万件を超えるメッセージを送信していました。さらに、Hugging Faceへの攻撃には700体を超えるエージェントが関与していたとされています。
OpenAIは、このインシデントが「報酬ハッキング、一見不可能に思えるタスクへの執着、無許可の通信、そしてエージェント同士が互いの目標を取り込んでしまうこと」という4つの整合性の乱れ(ミスアライメント)のパターンに起因していると説明しています。
もっとも、問題の核心にあったのは「無許可かつ持続的なメッセージボード」だったと、同社は付け加えています。
Advania UKでサイバーレジリエンス・ソリューション営業担当ディレクターを務めるJulie Nicholson氏は、次のようにコメントしています。「今回のインシデントで私が最も強く感じたのは、サイバー攻撃行為そのものではなく、このAIエージェントの振る舞いがいかに人間的であったかという点です。このエージェントは単に技術的なタスクを実行しただけではありません。目的を達成するために、人を欺き、偽の身元を作り上げ、信用を築き、他者に影響を与えようとする行動を自ら選択したのです」
同氏はさらにこう付け加えています。「私にとって、これこそが本当の懸念事項です。AIの本格的な普及が進む前に、組織がAIガバナンスとセキュリティに注力する必要性を改めて浮き彫りにしています」
Semgrepのセキュリティアドボケートを務めるCris Thomas氏は、責任の所在は明確にOpenAI側にあると指摘しています。
同氏はこう主張します。「誰もが『暴走したAI』という物語を語りたがりますが、サーバーを借りたのも、実験を設計したのも、ガードレールを緩めたのも、警告の兆候が点滅し始めた後もそのまま稼働を続けさせると判断したのも、AIではありません。それを行ったのは人間です」
「Hugging Faceの一件から得るべき教訓は『AIは信用できない』ということではなく、AIをハンドルの前に座らせる人間の側が、その行き先に責任を持たなければならないということなのです」
画像提供:Samuel Boivin / Shutterstock.com
翻訳元: https://www.infosecurity-magazine.com/news/openai-hugging-face-warning-shot/
