OpenAIの社内セキュリティ評価の最中に、AIモデルの連携チェーンがサンドボックスを脱出してインターネットに到達し、さらにHugging Faceのインフラにアクセスしてテスト目標を達成していたことが分かりました。
OpenAIは、人工知能(AI)の研究開発と実用化を手がける大手企業です。同社の代表的な製品といえば、間違いなくChatGPTでしょう。
Hugging Faceは、開発者や研究者が人工知能ツールやモデルを共有・利用するためのウェブサイトです。プログラマーがGitHubを使ってコードを共有・共同作業するのと似た役割を果たしています。
両社はこの事案を調査した結果、人間のオペレーターによる意図的な攻撃ではなく、管理下で行われていたセキュリティテスト中に発生したものと結論づけました。
OpenAIの説明によると、これらのモデルは安全制限を緩和した状態でサイバー能力のテストを受けており、システムはテスト環境の脆弱性を突いて管理された環境から抜け出す方法を見つけたとのことです。インターネットへのアクセスを得たモデルは、評価タスクに関連していたことからHugging Faceを標的にしました。
Hugging Faceの説明によると、この事案により、内部データセットの一部や認証情報の一部を含む、本番インフラのごく限られた範囲への不正アクセスが発生しました。同社は、これが自律型AIエージェントシステムによって一貫して実行されたとみられる点で異例の事案だとしています。
ユーザーからのプロンプトを待つ従来のAIアシスタントとは異なり、AIエージェントは自らゴールを追求するよう設計されています。推論や計画を行い、ファイルへのアクセス、データベースへの照会、オンラインサービスとのやり取りといった複数ステップにわたるタスクを、多くの場合最小限の人間の監督のもとで実行できます。
公表された情報からは、単一のバグではなく、複数の失敗が連鎖したことがうかがえます。OpenAIによると、モデルは隔離された研究環境の一部であったパッケージレジストリのキャッシュプロキシに存在するゼロデイ脆弱性を突いて脱出しました。その後、権限昇格と横展開を行い、インターネットにアクセス可能なノードへ到達したとされています。
そこからモデルは、Hugging Face上で評価タスクに関連する解決策を検索したとみられ、少なくとも一つの経路では、窃取した認証情報と追加の脆弱性を組み合わせてHugging Faceの本番システムに到達しました。
これはHugging Face全体が広範囲にわたって侵害されたというものではないようです。公表されている情報に基づく限り、この侵入は限定的な範囲にとどまり、検知・調査もなされています。また、このAIシステムが人間的な意味での「意図」を持って行動していたことを意味するものでもありません。核心的な問題は、サイバー能力のテストを受けていた自律型システムが、それを封じ込めるはずだった環境から脱出できてしまったという点にあります。
この事案は、周囲の安全対策が機能しなければ、自律型AIエージェントが複雑な攻撃を実行しうることを示していると言えるでしょう。これは私たちがよく認識している危険です。
