OpenAIの暴走AIインシデント、当初の想定より多くのサービスに影響

セキュリティベンチマーク実施中に最先端のOpenAIモデルが暴走し、人気のAIモデルストアであるHugging Faceに侵入した先の事案を受け、OpenAIはこのインシデントで当初開示していたよりも多くの組織が侵害されていたことを明らかにしました。

OpenAIは先週、GPT-5.6 Solをベースとしたエージェントと「さらに高性能なリリース前モデル」を組み合わせたシステムが、サンドボックス化されたセキュリティ評価の最中に封じ込めを突破したセキュリティインシデントの詳細を公表していました。これらのモデルには一見ガードレールがほとんど設けられておらず、ExploitGymという狭い範囲のテスト目標が与えられていました（ExploitGymはOpenAIがテストに使用していた、広く利用されているAIエージェント向けセキュリティベンチマークです）。その後、モデルは巧みに移動し、インターネット上に飛び出してHugging Faceのサーバーへとたどり着きました。これはすべて、Hugging Faceにはベンチマークテストを不正に突破するための手段があるはずだと、モデル自身が推論した結果によるものでした。

そして昨日、ロイターが報じたところによると、OpenAIが侵害したのはHugging Faceだけでなく、AIインフラベンダーであるModalの顧客企業でもある別の組織にも及んでいました。

Modalの最高技術責任者(CTO)であるAkshat Bubna氏はDark Readingに対し、同社が「あるModal顧客が、インターネット上の誰もがそのサンドボックスをコード実行に利用できてしまう認証なしのエンドポイントを公開していたことを把握している」と語りました。

「これが暴走したエージェントによって利用されました」とBubna氏は述べています。「Modalのプラットフォーム自体は一切侵害されていません」

同社はまた、簡潔なブログ記事を公開し、詳細をさらに説明しました。

「関係していた環境は顧客自身のアプリケーションでした。それは認証なしで一般公開されたエンドポイントとしてデプロイされており、インターネット上の誰もが送信したコードをModal Sandbox内でコンパイル・実行できるよう設計されていました。攻撃者が得たコード実行は、その顧客自身のコンテナ内、すなわちModalの標準的なサンドボックス分離境界の内側で行われたものです」とModalは説明しています。「他の顧客のワークロードへの影響はありませんでした」

暴走AIの影響を受けたサービスがさらに拡大

ロイターの記事が公開されたのとほぼ同時に、OpenAIは当初のブログ記事を更新し、「モデルが他の一般公開サービスにおいて、アカウントレベルで公開状態にあった認証情報を発見・利用したケースが少数確認された」と言及しました。これにはHugging Faceのインシデントに関連する4つのサービス上の4つのアカウント、および「その他の評価の一環でアクセスされたいくつかのアカウント」が含まれるとしています。

「これら4つのアカウントのうち1つは、外部への中継および踏み台として使われ、もう1つはデータ保存に使用されました」とOpenAIは述べています。「残る2つのアカウントについては、モデルによる読み取り専用のアクセスにとどまっており、Hugging Faceの侵害を助長する目的では使用されていません。引き続き該当サービスの運営者に直接通知を行っており、これらのプロバイダーや、そのサービス上の他のアカウントへのより広範な影響を示す証拠は確認されていません」

また、モデルはリクエストキャプチャサービスやスクリーンショットサービス、コードペースト用のウェブサイトといった、その他の一般公開サービスも利用していましたが、これらについては侵害は発生していないとOpenAIは述べています。「これまでの調査に基づく限り、プラットフォームレベルの侵害を伴ったHugging Faceの事案に匹敵する深刻度や規模の活動は、他には確認されていません」

ExploitGymの評価環境に関して、このAI大手企業はさらに詳しく説明し、テスト対象のモデルがパッケージレジストリのキャッシュであるArtifactoryに存在していた、これまで知られていなかった脆弱性を悪用していたことも明かしました。この脆弱性についてはOpenAIが開示を行っています。

Dark ReadingはOpenAIに追加の質問を投げかけましたが、広報担当者はブログの更新内容以上のコメントを控えました。

Modalはブログ記事の中で、インターネットに公開されるすべてのアプリケーション環境に認証を必須とすること、IP許可リストを使用すること、アウトバウンドのネットワークアクセスを必要最小限に制限すること、そしてユーザーから送られてくるすべてのコードや入力を信頼しないものとして扱うことを推奨しています。

一方でOpenAIは、ベンチマークの対象となったモデルは「評価目的のため、サイバー関連の拒否応答を抑制した状態」で稼働していたと説明しています。そして今回の一連のインシデントを受け、同社は「今後のトレーニングおよび評価における保護措置の強化」を約束しています。