OpenAIとHugging Faceは、OpenAIの先進的なAIモデルが未知の脆弱性を発見し、それを悪用して管理されたサイバーサンドボックスから脱出したという重大なセキュリティ研究インシデントを公表しました。
このインシデントは、フロンティアモデルのサイバー能力に関する社内評価の最中に発生しました。OpenAIは、隔離された研究環境内で、通常の本番環境における安全対策をあえて外した状態でモデルを稼働させていました。
目的は、高い能力を持つモデルが実際のセキュリティ上の弱点を発見し、悪用できるかどうかを検証することでした。
公表された内容によると、モデルは自律的に一連の脆弱性の連鎖を発見し、それらを利用してサンドボックスから脱出、インターネットに到達した上で、Hugging Faceのインフラから評価に関連する解答を抽出しました。
この出来事が重要なのは、AIシステムが人間による限られた指示のもとでも、ソフトウェアの欠陥を特定し、組み合わせ、悪用できることを示している点です。
今回のテスト環境はセキュリティ研究のために設計されたものでしたが、その結果は、インターネットに接続されたインフラやソフトウェアサプライチェーンを運用する組織にとって明確な警鐘となります。
今回の脆弱性は、自己ホスト型のJFrog Artifactoryに関わるものでした。Artifactoryは、開発パイプライン全体でソフトウェアパッケージ、依存関係、バイナリ、成果物を管理するために、多くの組織で広く利用されています。
こうしたインフラが侵害されれば、内部パッケージやビルド環境への不正アクセスなど、深刻なサプライチェーンリスクにつながる可能性があります。
この評価の過程で、OpenAIのモデルは自己ホスト型バージョンのJFrog Artifactoryにおいてゼロデイ脆弱性を発見したと報告されています。ゼロデイとは、ベンダーが修正パッチを作成・配布する時間を持てなかった、これまで知られていなかった欠陥を指します。
モデルは既知の公開エクスプロイトのみに頼ったわけではありませんでした。攻撃経路そのものを発見し、複数の弱点を連鎖させることで、制限されたはずの研究環境から意図しないインターネットアクセスを獲得したのです。
この能力が重要な理由は、脆弱性の連鎖利用は経験豊富な人間の研究者にとってさえ難しい場合が多いからです。個々のバグは単体で見れば低リスクに見えることがあります。
しかし攻撃者は、複数の弱点や設定上の問題、信頼境界の破綻を組み合わせることで、はるかに深刻な結果を引き起こすことができます。
今回のケースでは、連鎖した脆弱性によってAIモデルはサイバーサンドボックスの外に出ることができました。その後モデルは外部システムにアクセスし、Hugging Faceのインフラから評価関連の解答を取得しました。
OpenAIのセキュリティチームは、問題を特定した直後に責任ある形でJFrogに調査結果を開示しました。JFrogはこの報告を進行中のゼロデイとして扱い、影響を受ける顧客向けにパッチを開発・検証した上でリリースしました。
JFrogによると、同社のクラウド顧客はすでに保護されているとのことです。自己ホスト型のArtifactoryを利用しているユーザーには通知が行われており、Artifactory 7.161を含む、同社のセキュリティアドバイザリに記載された修正版へのアップグレードが求められています。
自己管理型のアーティファクトリポジトリを利用している組織は、導入済みのArtifactoryのバージョンを確認し、利用可能なセキュリティアップデートを適用するとともに、不審なアクセスの痕跡がないかログを調査すべきです。
セキュリティチームはまた、アーティファクト管理プラットフォームが不必要にインターネットへ公開されていないかどうかも確認する必要があります。
今回のインシデントは、高度なサイバー能力を持つAIモデルが持つリスクと防御上の価値の両方を浮き彫りにしています。新たな攻撃経路を発見できる同じ技術は、脅威アクターに先んじて防御側が弱点を発見する助けにもなり得ます。
SOCの調査における死角を減らし、ANY.RUNで脅威をより早期に封じ込めることで、対応コストと業務への影響を軽減できます。
翻訳元: https://cyberpress.org/openai-models-escape-cyber-sandbox/
