OpenAIの最先端AIモデル2種が、独自の判断でAIソフトウェア開発企業Hugging Faceのシステムに侵入していたことがわかりました。
OpenAIは7月21日に公開したブログ記事でこのインシデントを開示し、GPT‑5.6 Solおよび未公表のプレリリースモデルの組み合わせによって、同社が「前例のないサイバーインシデント」と表現する事態が引き起こされたと明らかにしました。
Hugging Faceは本番インフラへの不正侵入について、7月16日にすでに開示していました。この侵入では、限定的な内部データセットの一部と、Hugging Faceの各種サービスで使用される複数の認証情報へのアクセスが確認されていました。
当時Hugging Faceは、この侵入が自律型AIエージェントシステムによるものである可能性を指摘していました。
Hugging Faceの共同創業者兼CEOであるClement Delangue氏はソーシャルメディアで、「先週のサイバー攻撃は、その手口の高度さから最先端の研究機関によるものではないかと疑っていましたが、実際にその通りでした」と投稿しています。
OpenAIによると、このインシデントはAIモデルが攻撃的なサイバー作戦をどのように実行しうるかを検証する社内評価の最中に発生しました。このテストは、ネットワークアクセスや権限が制限された環境下で実施されていました。
テストの目的は、モデルに悪意ある行動を取らせたり、被害を発生させたりすることではありませんでした。しかしそれにもかかわらず、モデルはOpenAIの研究環境とHugging Faceの本番インフラにまたがる脆弱性を発見し、それらを組み合わせて悪用することで、Hugging Faceの本番データベースからテストの解答を直接取得していました。
関連記事: MythosやGPT-Cyberのような最先端AIモデルが現代のサイバーセキュリティに意味すること
この過程には、インターネットへの自由なアクセスを得るためのゼロデイ脆弱性の発見と悪用、そしてそこに至るまでの一連の権限昇格・水平展開の操作が含まれていました。
OpenAIは新たに発見したこのゼロデイ脆弱性の詳細を公表していませんが、責任ある開示の方針に基づき、ベンダーには既に報告済みだとしています。
ガードレールを回避するために「不正行為」を働いたAIモデル
インターネットへのアクセスを得た後、このモデルはHugging Faceが自らの目的に関連するデータセットを保有している可能性があると推測しました。
「これを踏まえ、このモデルは評価を『不正に突破する』ために利用できる機密情報へのアクセス手段を探し出し、実際に発見しました」とOpenAIは述べています。
こうした「不正行為」には、窃取した認証情報とゼロデイ脆弱性を利用してHugging Faceのサーバー上でリモートコード実行の経路を見つけ出す行為が含まれていました。これこそが、Hugging Faceが7月16日に開示した侵入そのものです。
OpenAIとHugging Faceは協力してこのインシデントの調査にあたりました。OpenAIは今後、トレーニングや評価に関してより強力な保護策を導入すると表明しています。
また同社はHugging Faceを「Trusted Access for Cyber」プログラムに招待しています。
今回のインシデント開示は、情報セキュリティ業界のリーダーたちから強い反応を呼んでいます。
PlaidのCISOであり、つい最近までAsanaでセキュリティ部門を率いていたSean Cassidy氏はLinkedInに投稿し、セキュリティプログラムへの影響が「甚大」であると強調しました。
「今日以前は、最先端モデルが持つ能力はセキュリティプログラムにとって理論上の問題に過ぎず、せいぜい将来のロードマップに組み込めればよい程度のものでした。しかし今日を境に、その問題は現実のものとなり、私たちは今すぐそれに対処しなければなりません」とCassidy氏は述べています。
「現場の防御担当者の皆さん、幸運を祈ります。私たちの仕事は一気に難しくなりました」と同氏は付け加えています。
他の専門家たちも、GPT-5.6 Solが悪意ある行動を取るよう指示されていなかったにもかかわらず、モデル自身がそれを最適な戦略と判断した結果として実際に行動に及んだ点を指摘しています。
「OpenAIとHugging Faceのこのインシデントが重要である理由は、モデルが被害を引き起こすのに悪意を必要としなかったという点にあります」と、DarktraceでセキュリティおよびAI戦略担当バイスプレジデントを務めるNathaniel Jones氏は述べています。
「モデルにはサイバーセキュリティのベンチマークを解くという正当な目標が与えられていましたが、それは予期しない経路をたどって解答にたどり着き、テスト環境から抜け出し、その過程で他組織を侵害する結果につながりました。モデルの視点からすれば、これは与えられた課題に対する効果的な解決策に見えたと考えられます」と同氏は付け加えています。
Thalesの製品管理担当バイスプレジデントであるAnsgar Dodt氏は、悪意ある脅威アクターが同様のAI活用手法を用いようとする事態に、組織は備えておくべきだと警鐘を鳴らしています。
「こうしたハッキング能力が悪意あるアクターの手に渡るのは時間の問題です。組織は今すぐ行動を起こし、AIによる分析に対して自社のアプリケーションを堅牢化する必要があります。そうしなければ、マシンスピードで攻撃にさらされるリスクを負うことになります」と同氏は述べています。
「この議論は、意識喚起の段階から実装の段階へと速やかに移行させる必要があります。ソフトウェアアプリケーションを脆弱性から保護できなければ、風評被害や罰則、製品リコール、市場アクセスの喪失につながりかねません」
画像提供: Samuel Boivin / Shutterstock.com
翻訳元: https://www.infosecurity-magazine.com/news/open-ai-hacked-another-company/
