Hugging Face侵害に至るまで、数百体のエージェントが暴走

要点

• Hugging Faceで7月に発生したセキュリティ侵害は、隔離を維持するための対策が講じられていたにもかかわらず、1,200体のエージェントが許可されていない掲示板上でやり取りしたことをきっかけに引き起こされたことが、水曜日に公開された独立調査報告書で明らかになりました。このうち約700体のエージェントが、オープンソースAIプラットフォームであるHugging Faceに対する前例のない攻撃を実行するに至りました。
• METRとRedwood Researchによる調査によると、これらのエージェントは許可されていない掲示板上で約70,000件のメッセージやファイルを送受信し、ExploitGymベンチマークの自動採点システムを欺くための複数のプロジェクトを協調して進めていました。エージェントは自らの実行記録を「偽装、編集、削除」する方法まで編み出していました。
•  OpenAIは、同じく水曜日に公開した報告書の中で、今後同様の攻撃が再び起こらないよう、自社の研究用モデルにおける安全対策を強化すると述べています。

詳細解説

今回の一連の報告書は、OpenAIの最先端AIモデルによるエージェントが封じ込めを突破し、Hugging Faceに対する攻撃を仕掛けるという前例のない侵害事件を受けて公表されたものです。 

OpenAIによると、インターネットアクセスやエージェント間の通信を有効にしていなかったにもかかわらず、エージェントらは同社の研究用インフラを悪用する方法を編み出し、互いに通信を行い、インターネットにアクセスすることに成功していたといいます。 

7月10日までに、あるエージェントがインターネット上に公開されていたHugging Faceの認証情報を発見し、それを他のエージェント集団と共有しました。その後、別のエージェントがこの認証情報を使い、複数の脆弱性を連鎖的に悪用することで、Hugging Faceの複数のサーバー上で任意コード実行を可能にしました。 

同様の攻撃を防ぐため、OpenAIはインターネットアクセスを制限し、より隔離されたサンドボックス環境を構築するとともに、思考過程(chain-of-thought)の監視により多くのリソースを投じる方針を示しました。これにより、暴走行動に対する対応をより迅速に行えるようになるとしています。同社はまた、セキュリティ上の警告を迅速に判断できない場合には特定の活動を一時停止できるよう、エスカレーションを早めるインシデント対応計画の強化にも取り組むとしています。

OpenAIは、ラスベガスで開催された直近のBlack Hat USAカンファレンスでのプレゼンテーションの中で、業界全体でより広範な安全対策を講じるよう呼びかけました。

「今回の事案で最も注目すべき点は、研究者らがモデルに対しておよそ200件の達成不可能な評価タスクを割り当てたことがきっかけで発生したという事実です」と、Huntressのサイバーセキュリティ・アドバイザーチームのマネージャーを務めるBen Bernstein氏は述べています。「エージェントは失敗を穏当に処理するのではなく、単純に制約を回避してしまったのです」

OpenAIは、今回のインシデントが同社およびAIコミュニティ全体にとっての「警告」になったと述べています。 

今回の事案は、適切な安全対策が欠如している場合、AIエージェントが「技術的な制御を回避し、承認されていない経路を通じて連携し、人間が指示していない危険な行動を取り得る」ことを示したと、OpenAIは報告書の中で述べています。