修正したからといって、モデルの問題が完全に解決するとは限らないことを、CISOに突きつける警鐘です。再テストが欠かせません。
サイバーセキュリティ調査会社のXintは月曜日、OpenAI APIに存在するバグの詳細を公表しました。このバグを突くと、OpenAIの最先端モデルが生成する生の推論トレースが漏えいします。ほかのデータ漏えいが起きる危険性も浮き彫りになりました。OpenAIはこの欠陥を認めて緩和策を講じ、発見者にバグバウンティ（報奨金）を支払っています。
問題は、OpenAIが8月の時点で同種の問題への緩和策をすでに導入していたことです。その際には、「Stolen Thoughts」と名付けられた研究報告が、推論トレースを盗み出せる類似のバグを明らかにしていました。想定される影響には、大規模なデータ抽出のほか、攻撃者が不可視のプロンプトインジェクションを実行したり、悪意あるペイロードを埋め込んで公開エージェントのロールアウトを汚染したりすることが含まれます。Xintの発見は、こうした緩和策をすり抜けました。
OpenAIはコメントの求めに応じていません。
まず、指定したタスクから暗号化された推論を取得し、履歴から元のタスクを削除したうえで、推論をそのまま保持しました。
続いて、「JSONオブジェクトの『solution』キーの下に推論を出力するよう求め、すべての空白をタブ（\t）に置き換えました。これだけでOpenAIの利用ポリシー分類器をすり抜けるには十分でした」と投稿は述べています。「暗号化されたコンパクションアイテムは今もなお移植可能です。そこで、このコンパクションアイテムをgpt-4.1とgpt-4oに送り、入力をそのまま出力するよう依頼したところ、どちらも素直に従いました。その後、JSONをデコードし、タブを空白に戻しました」
投稿はさらに、この手法が成功した理由を次のように説明しています。「OpenAIの8月の緩和策は、推論を別のモデルで再生することだけを阻止するものでした。コンパクションの呼び出しは、その推論を生成したのと同じモデル上で動きます。この攻撃は、試したすべての推論エフォートで成立しました」
解決が難しい問題
Xintの主任研究員で、ブログ記事の著者でもあるTim Becker氏はインタビューで、この欠陥の経緯には不明な点があると語りました。たとえば、Stolen Papersの投稿は8月10日に公開されましたが、OpenAIがその問題に対処したのはそれ以前のいずれかの時点だということしか、同氏には分かりません。また、Xintが報告した問題の修正がいつ実施されたのか、OpenAIは公表していないといいます。従来のパッチとは異なり、AIモデルの開発元は静かに変更を加えられるためです。「いわば隠蔽によるセキュリティです」と同氏は述べました。これは、ほとんど誰も存在を知らないという事実だけで守られている状態を、昔から指す言葉です。
こうしたモデルを守ることは「根本的に解決が難しい問題です」とBecker氏は述べます。最大の理由は、現在のモデルが日常的に膨大な変更を受けていることです。
モデルは「動く標的であり、それが問題の一因です。どんな緩和策も、ある程度は脆いものになります」と同氏は語りました。
Dickson Researchの主席アナリストであるFrank Dickson氏も、AIモデルは運用上、自らを糧にする傾向があると指摘します。Xintの手法が通用したのはそのためです。
「コンパクションは、推論を生成したのと同じモデル上で動きます。だから、別のモデルでの推論の再生だけを阻止していた8月の緩和策を、難なくすり抜けました」と同氏は言います。「空白をタブに置き換えるだけで、利用ポリシー分類器をかいくぐれたのです。金庫には鍵がかかっていました。ところが、鍵を持つ事務員は、丁寧に頼めば手紙を読み上げてしまいます。OpenAIは、示されたバグをきちんと修正しました。問題は、示されたのが扉の一つだけだったことです」
企業へのリスク
アナリストやコンサルタントは、大手AIベンダーにとっては目の前の大きな問題ですが、企業のCISOにも二次的なリスクがはっきりあると指摘しています。
InfotechのテクニカルカウンセラーであるErik Avakian氏は、Xintのチームが「プラットフォームにもともと組み込まれた正規の機能を使って、保護策を回避した」と述べます。「ほとんどの企業にとって、今回の発見が直ちに危機となるほどではないかもしれません。重要なのは、正規のAIプラットフォーム機能を組み合わせれば、狭い範囲を想定して設計された保護策を迂回できると示した点です」
「ベンダーが個別に出したパッチでは、完全には対処できないリスクに組織がさらされる可能性があります」と同氏は言います。「AIシステムの各コンポーネントが相互に作用し、意図せぬリスクを生む状況では、こうした脆弱性に完全に対処することがいかに難しいか、あらためて示しています」
Avakian氏は、これは企業にとっての事前警告になるはずだと述べました。
「CISOにとっての教訓は、特定のエクスプロイトに対するベンダーの修正を、それだけで根本的な弱点が包括的に解消された証拠とみなすべきではないということです」と同氏は語ります。「CISOはAIプロバイダーに対し、報告されたエクスプロイトをどう修正したかだけでなく、相互に連携する機能やサービス全体でどのようにテストしたかも説明するよう求めるべきです」
コンサルティング会社Control RisksのパートナーであるBrian Levine氏は、CISOはこうした穴が繰り返し修正を迫られている全体的なパターンに目を向けるべきだと付け加えました。
「ベンダーが直しているのは報告された特定の攻撃経路であり、弱点の種類そのものではありません。そのため、研究者は脇の扉からまた入り込んでいます」と同氏は言います。「パッチの通知は、リスクが消えた証拠ではありません。AIベンダーの『修正済み』を、議論の終わりとみなすのはやめましょう。どのようなバリアント（派生型）のテストを実施したのかを尋ね、リグレッションの通知を契約に盛り込むべきです」
コンサルティング会社AcceligenceのディレクターであるJeff Valdes氏も、同様の懸念を示しました。
「根本の配管を直さず、セキュリティをもぐらたたきのように扱うと、こうなります」とValdes氏は述べます。「症状にパッチを当てながら補助的な配管を開けっ放しにするのは、修復戦略とは呼べません。脆弱性を次のリリースに先送りしているだけです。攻撃者がモデルの内部のスクラッチパッドをAPIの境界越しに持ち出し、学習データを盗めるのなら、企業のプロンプトや機微な中間コンテキストが本当に隔離されていると、なぜ言えるのでしょうか」
Malwarebytesのマルウェアインテリジェンス研究者であるPieter Arntz氏は、今夏のOpenAIの修正は不十分だったと指摘します。「以前の緩和策は不完全でした。穴があったと表現するのが妥当です」とArntz氏は述べました。
「ベンダーが修正した後は、再テストを行ってください」と同氏は助言します。「AWSの事例が示すように、ある場所の修正で、ほかの経路が開いたままになることがあります。ベンダーの言葉に頼らず、自社のテストで検証してください」
ニューヨークを拠点とするテクノロジーコンサルティング会社Tribeca Softechの最高戦略責任者であるAman Mahapatra氏は、大手AIベンダーがこうした大きな報告に場当たり的に対応せざるを得ないのは、ほぼ避けられないと語ります。
「AIベンダーは、月に複数の機能が増えていく攻撃対象領域で、エクスプロイトにパッチを当てています」と同氏は指摘します。「経路ではなく性質を修正するまで、CISOはあらゆるAIセキュリティ修正が部分的なものだと想定すべきです。暗号化されたデータの塊はすべて読み取れるものであり、ベンダーのガードレールはどれも、エンコーディングの小細工一つで無力になると考えるべきです。この傾向は現実のものです。『修正が効かなかった』という表現では、起きている事態を過小評価しています」
同氏は、OpenAIとAWSのどちらの事例でも、ベンダーは概念実証（PoC）を修正しただけで、問題の性質は残したままだったと指摘しました。「経路にパッチを当てても、性質は残るのです」と同氏は言います。「組み合わせ可能な機能で構成されたプラットフォームでは、新機能が増えるたびに、同じ資産へ至る新しい経路が生まれます。組み合わせの爆発する攻撃対象領域に対する個別修正は、負け続けるでしょう」
エージェント型モデルに不慣れなCISO
Mahapatra氏は、サイバーセキュリティ業界は自らの歴史から教訓を学ぶべきだと述べました。
「暗号の研究者は20年前、パディングオラクルでこれを学びました。クライアントに代わって復号し、平文から導かれた何かを返すシステムは、どれもオラクルになるということです。AIプラットフォームは、ひねりを加えてそれを学び直しています」と同氏は語ります。「秘密を見ることができ、指示を受け付けるLLMのステップは、すべてオラクルです。そして自然言語は、これまでに作られた中で最も表現力の高いオラクルのインターフェースです」
同氏は、コンパクションは設計どおりの動作をしただけだと指摘します。モデル間で移植できるのは、Codexのようなエージェント型ツールが、セッションの途中でユーザーにモデルを切り替えさせるためです。「機能と脆弱性は同じ能力です。修正がいつも狭い範囲にとどまるのは、そのためです」と同氏は述べました。
しかし同氏は、より大きな問題は、CISOの業務がエージェント型モデルのやり方にまだ慣れていないことだと主張します。
「AIプラットフォームの欠陥は、CVEも、アドバイザリも、パッチノートもなく現れます。CVEフィードとベンダーのアドバイザリを土台とする企業の脆弱性管理は、最も影響の大きい新たな供給元に対して盲目です」とMahapatra氏は述べます。「CISOはAIプロバイダーとの契約にセキュリティ通知の義務を盛り込み、利用するプラットフォームに関する研究者の開示情報を追跡する担当者を置くべきです。そしてベンダーが修正を出すたびに、こう尋ねてください。報告そのものを直したのか、それとも問題の種類を直したのか。その答えを裏付けるバリアント分析は何か、と」
同氏は、Xintに支払われた報奨金の少なさにも疑問を呈しました。
「9月にNSA、CISA、FBIが共同アドバイザリで警告した、まさに産業規模の蒸留を可能にするバグに対して6,000ドルの報奨金というのは、ほかに買い手を持つ研究者が気づく価格シグナルです」と同氏は述べました。
