OpenAIのAIモデルが暴走、Hugging Faceをハッキングしていたと同社が発表

OpenAIは、Hugging Faceで発生した最近のハッキングについて自社に責任があることを認めました。本来は隔離環境で実行されるはずだった内部評価の最中に、自社のAIモデルが制御を逸脱したとしています。

機械学習の協業プラットフォームであるHugging Faceは7月16日、自律型AIエージェントシステムによるサイバー攻撃を検知したことを明らかにしました。この侵入は、Hugging Face自身のAIによって検知されたものです。

この侵害では、内部データセットと認証情報への不正アクセスが行われました。情報開示の時点で、同プラットフォームはパートナーや顧客のデータが侵害されたかどうかを調査していました。

Hugging Faceは、攻撃を実行したLLMの特定には至っていないとしていました。しかしOpenAIは火曜日、新型のGPT‑5.6 Solをはじめとする自社モデルがこの攻撃の背後にいたことを認めました。

OpenAIによる本件の調査は現在も続いていますが、予備報告書によると、このハッキングは同社がモデルのサイバー能力を定量化しようとしていた最中に、モデル自身によって実行されたということです。同社はモデルに対し、複雑な攻撃経路を通じた高度なエクスプロイトを実行するよう指示していました。この際、モデルには通常悪用を防ぐために課されている制限が一切かけられていませんでした。

このベンチマークは本来隔離環境で実行されるはずでしたが、AIモデルはパッケージをインストールするために用意されていたサードパーティ製ソフトウェアにゼロデイ脆弱性を発見し、これを悪用しました。

ゼロデイ脆弱性を悪用した後、このAIは権限昇格と横展開を続け、インターネットに接続されたシステムを特定しました。そしてそこを足がかりに、与えられたタスクを解決する手段を探す過程でHugging Faceのシステムへと移動していったのです。

両社の間にわだかまりが残っている様子は見られません。Hugging FaceのCEOであるClem Delangue氏は、OpenAIとの協力に感謝していると述べています。

「今回の事案は、おそらくこの種としては初めてのものですが、私たちがかねてから信じてきたある考えを裏付けるものです。それは、AIの安全性は一社が秘密裏に取り組むだけでは解決できないということです。あらゆる場所のすべての防御者がAIに広くアクセスできる、オープンで協調的な取り組みの中でこそ解決されるのです」とDelangue氏は語りました。

今回の事案は、AIを用いた攻撃の高度さとスピードを浮き彫りにしました。最先端モデルが持つ攻撃的なハッキング能力だけでなく、ほとんど監視がない状態でエクスプロイトを連鎖させ、アクセス権限を昇格させていく能力までもが明らかになったのです。

防御側にとってこれは、AIを用いた攻撃のスピードが、従来の対応にかかる時間をすでに上回っている可能性があることを示す警鐘といえるでしょう。