AIポイズニングとCISOの信頼危機

2025年5月、NSA、CISA、FBIは、オーストラリア、ニュージーランド、イギリス政府と協力して作成した共同声明を発表し、敵対的なアクターがあらゆる分野でAIシステムを訓練するデータを汚染することでAIをポイズニングしていることを確認しました。モデルは依然として機能しますが、現実と整合しなくなっています。

CISOにとって、これはクラウドの導入やランサムウェアの台頭に匹敵するほどの大きな転換点です。境界線は再び移動し、今回はアルゴリズムを訓練するために使われる大規模言語モデル（LLM）の内部に移りました。データポイズニングによるデータの汚染に対処するためのこの声明のガイドは、すべてのCISOが注目すべきものです。

AIポイズニングが企業の攻撃対象領域を変える

従来のセキュリティフレームワークでは、目標はしばしば二元的です：アクセスの拒否、侵入の検知、機能の復旧。しかし、AIは明白な形では壊れません。歪みます。ポイズニングされた訓練データは、システムが金融取引をラベル付けする方法、医療画像を解釈する方法、コンテンツをフィルタリングする方法を再形成する可能性があり、警告を発することなく進行します。よく調整されたモデルでさえ、上流で不正な情報が導入されると微妙な虚偽を学習してしまうのです。

主な例は以下の通りです：

• 基盤モデルが「プラウダ・ネットワーク」と呼ばれる大規模なロシアのネットワークによって仕込まれた資料を取り込んだ結果、クレムリン寄りのプロパガンダを繰り返すようになった。
• アメリカの2つのニュースメディアが公開した著名なAI生成の読書リストに、実在の著者に誤って帰属された10冊の架空の書籍タイトルが含まれていた。
• 研究者が訓練画像に知覚できない微細な変化を加えることで誤分類を引き起こせることを示した。
• 医療分野の研究者が、LLMにおけるわずか0.001%のデータポイズニングで医療に関する誤情報が発生することを実証した。

リスクの再考：システムから認識論へ

サイバーセキュリティは常にシステムの防御が中心でした。しかしAIファーストの環境では、システムは静的ではありません。これにより、CISOの役割は従来の境界防御から推論防御へとシフトします。敵対者は単にネットワークに侵入するのではなく、AIが使われるとき、敵対者はデータポイズニングによって知識そのものを改ざんしようとします。

2023年、私はCISOがAIシステムを単なるツールではなく予測不能なチームメイトとして扱う必要があると主張しました。私は長年プライバシーと情報セキュリティのアドバイザーであるRebecca Herold氏と、この新たな整合性が何を要求するかについて話しました。彼女は、AIシステムの忠実性、推論のドリフト、組織的信頼を調査するすべてのCISOにとって今も重要な8つの基本的な質問を挙げました：

1. AIを訓練するために使われたデータの出所は何ですか？どこから来たのか、どのように処理されたのか、キュレーションされたのかスクレイピングされたのかを追跡できますか？
2. AIは、その意思決定プロセスをコンプライアンスチームが理解できる形で説明できますか？規制当局や監査人が来たとき、説明可能性は不可欠です。
3. AIが幻覚や虚偽の情報を生成した場合、どうなりますか？検知メカニズムやエスカレーションプロトコルは整備されていますか？
4. AIがミスをした場合、誰が責任を負いますか？AIによる結果に対する明確な責任の所在がありますか？
5. AIが改ざんやポイズニングされた場合、どうやって検知しますか？行動のドリフト、敵対的入力、訓練セットの汚染を監視していますか？
6. AIのチームメイトは、組織の倫理的枠組みに沿っていますか？それはあなたの価値観を反映していますか、それとも単にデータを反映しているだけですか？
7. 敵対的操作を防ぐためのセーフガードはありますか？あなたのチームは、プロンプトの悪用、データポイズニング、合成ID注入などに対してレッドチームテストを行っていますか？
8. AIの決定を法廷や世論の場で弁護する準備はできていますか？規制当局、顧客、メディアに対して結果を説明し、正当化できますか？

整合性にはアーキテクチャが必要

サイバーセキュリティコパイロットメーカーAirrivedのCEO、Anurag Gurtu氏は、文脈強化がなければ生成AIモデルはもっともらしい虚偽へとドリフトしやすいと以前から警告してきました。彼は、AIの推論を制約するためにグラフベースの構造やドメイン固有のルールセットの統合を提唱しています。このアドバイスは今やさらに緊急性を増しています。

教訓は明確です：AIが監督なしにデータを取り込み、監査可能性なしに出力する場合、現実と応答の間のギャップは広がります。そのギャップこそが、システムの完全性、意味の忠実性、信頼の侵害となります。

CISOは依然として組織のレジリエンスの要であり、AIポイズニングによるリスクが領域を超えて発生することに対処する立場にあります。だからこそ、パートナーシップが重要です。チーフトラストオフィサーがいる場合は、モデルの挙動を組織の価値観や社会的責任と整合させる視点をもたらします。チーフデータオフィサーは訓練資産の完全性、調達、ライフサイクルを管理します。チーフプライバシーオフィサーは、AIパイプライン全体でデータの合法的かつ倫理的な取り扱いを保証します。

これらのリーダーは協力しますが、CISOが統合役を担います。最終的には、CISOが内部・外部の両方の関係者に対して、どのようにしてモデルが侵害され、組織がそれを防ぐために何をしたのかを説明する責任を負うことになります。

CISOが今すぐ取れる6つのアクション

リスクを低減し、モデルの挙動に対する可視性を取り戻すために、セキュリティリーダーは以下の3つの要件（可視性、警戒、実行可能性）に沿った6つのアクションを取るべきです。

可視性

1. AI依存関係のマッピング：AIが重要な意思決定に影響を与えているすべてのシステム（社内・サードパーティを含む）を特定します。SaaSプラットフォームに組み込まれたAIやシャドウ導入も含めます。

2. データの出所プロトコルを確立：すべてのモデル構築において、訓練入力の文書化、バージョン管理、デジタルな証拠保全を義務付けます。

警戒

3. 行動ドリフトの監視：既知のベンチマーク、カナリア入力、敵対的プローブを活用し、時間・文脈・ユーザー群をまたいだ意味のドリフトを検知します。

4. アクセスだけでなく意味に対するレッドチーム：ポイズニングされた入力、プロンプトベースの悪用、合成IDのやり取りをシミュレートし、モデルのレジリエンスを評価します。

実行可能性

5. モデル障害時のプレイブックを策定：幻覚出力、規制違反、公的な誤情報事件などのシナリオに備えます。エスカレーション経路、ロールバック手順、公的コミュニケーションプロトコルを含めてください。

6. 組織全体でAIリテラシーに投資：セキュリティ、法務、コンプライアンス、リスクのリーダーは、AIを単に信頼するのではなく、AIを問いただす方法を理解する必要があります。

CISOが考えるべきこと

AIシステムは今や企業の意思決定の共著者です。信用リスクを予測し、健康異常を検知し、応募者をスクリーニングし、脅威をトリアージします。しかし、これらのシステムがポイズニングされたデータで訓練されている場合、被害は運用開始時ではなく、その形成段階から始まります。

CISOの役割は常に、まだ理解していない脅威から組織を守ることでした。AIポイズニングこそが、その脅威です。

一度アルゴリズムによって信頼が損なわれると、パッチで回復することはできません。信頼は、意図的に、透明性をもって、そしてCISOの監督のもとで再構築されなければなりません。