ハッカーにとって盗まれたデータは役に立たないが、正規ユーザーは偽情報を除去する秘密鍵を持つ。
研究者らは、AIシステムで使われる高価値の独自データが盗まれても無価値にできるというツールを開発したと述べており、CSO（最高セキュリティ責任者）は高度な大規模言語モデル（LLM）を保護するために、この解決策の採用を迫られる可能性がある。
この手法は、中国とシンガポールの大学の研究者らが作成したもので、AI運用者が作成する「ナレッジグラフ（KG）」として知られるものに、もっともらしいが誤ったデータを注入するというものだ。ナレッジグラフには、LLMが使用する独自データが格納されている。
盗難防止のためにデータシステムへ毒（poisoned）や改ざん（adulterated）データを注入すること自体は新しいものではない。このツール――AURA（Active Utility Reduction via Adulteration：改ざんによる能用性の能動的低下）と名付けられた――で新しいのは、正規ユーザーが偽データを除去する秘密鍵を持ち、問い合わせに対するLLMの回答が利用可能になる点だ。しかしナレッジグラフが盗まれた場合、攻撃者が鍵を知らない限り使用できない。改ざんデータが文脈として取得され、LLMの推論が劣化して事実に反する応答につながるためである。
研究者らによれば、AURAは無許可のシステムの精度をわずか5.3%まで低下させる一方で、正規ユーザーに対しては100%の忠実度を維持し、「無視できるオーバーヘッド」――最大でもクエリ遅延の増加が14%未満――で実現できるという。また、攻撃者によるさまざまなサニタイズ（浄化）試行に対してもAURAは堅牢で、防御のために注入した改ざん要素の80.2%を保持し、生成される偽データは検出が難しいとも述べている。
なぜこれが重要なのか。KGには組織の極めて機微な知的財産（IP）が含まれることが多く、価値の高い標的となるからだ。
専門家の反応は賛否両論
しかし、この提案は、ある専門家からは懐疑的に、別の専門家からは慎重に受け止められている。
「データ汚染は、これまで本当にうまく機能したことがない」と、Inrupt Inc.のセキュリティアーキテクチャ責任者で、ハーバード大学ケネディ・スクールのフェロー兼講師でもあるブルース・シュナイアーは述べた。「ハニーポットも同様だ。これは巧妙なアイデアだが、補助的なセキュリティシステム以上のものになるとは思えない。」
一方、米国拠点のサイバーセキュリティおよびAIコンサルタントであるジョセフ・スタインバーグは異論を唱え、「一般に、これはあらゆる種類のAIシステムおよび非AIシステムで機能し得る」と述べた。
「これは新しい概念ではない」と彼は指摘する。「一部の組織は、何年も前からデータベースでこれ（防御のための不正データ注入）を行ってきた。」例えば、データベースに透かし（ウォーターマーク）を入れておけば、盗まれた後にその内容の一部――例えば偽のクレジットカード番号――が使われた場合、調査者はそのデータ片がどこから来たのかを把握できる。しかしウォーターマーキングがデータベースに1件の不正レコードを入れるのに対し、AURAはデータベース全体を汚染するため、盗まれれば役に立たなくなる。
また彼は、KG内のデータが機微でない場合には、AIモデルによってはAURAが不要かもしれないと付け加えた。本当に未解決なのは、AURAを使用した場合のアプリケーション性能とセキュリティの現実世界でのトレードオフがどうなるか、という点だ。
さらに、AURAは、検知されない攻撃者がAIシステムのナレッジグラフ、あるいはデータそのものに干渉する問題を解決しないとも指摘した。
「最悪のケースは、データが盗まれることではなく、ハッカーがシステムに不正データを入れてAIが誤った結果を出し、それに気づけないことかもしれない」とスタインバーグは述べた。「それだけでなく、どのデータが不正なのか、あるいはAIが学習した知識のどれが不正なのかも分からなくなる。たとえ6カ月前にハッカーが侵入して何かをしたと特定できたとしても、直近6カ月の学習をすべて巻き戻せるのか？」
だからこそ、サイバーセキュリティの基本――多層防御（defense in depth）――がAIシステムにも非AIシステムにも不可欠だと彼は述べた。AURAは「誰かがモデルを盗んだ場合の影響を減らす」としつつも、研究室から企業環境へと飛躍できるかどうかは、まだ判断できないという。
ナレッジグラフ入門
ナレッジグラフに関する背景を少し説明する。LLMは、Retrieval-Augmented Generation（RAG）と呼ばれる手法を用いて、ユーザーのクエリに基づいて情報を検索し、その結果をAIシステムの回答生成の追加参照として提供する。 2024年、MicrosoftはGraphRAGを導入し、学習済みデータを超える情報を必要とするクエリにLLMが答えられるよう支援した。GraphRAGは、LLMが生成したナレッジグラフを用いて性能を向上させ、企業の独自研究、業務文書、コミュニケーションといったプライベートなデータセット上で探索を行う際に、回答のハルシネーション（幻覚）の確率を下げる。
研究論文によれば、GraphRAG内の独自ナレッジグラフは、他の独自データと同様に「IP窃取の格好の標的」になる。「攻撃者は外部からのサイバー侵入、あるいは悪意ある内部者の利用によってKGを盗む可能性がある。」
研究論文は、攻撃者がKGの窃取に成功すると、それを私的なGraphRAGシステムに展開して、元のシステムの強力な能力を再現でき、高額な投資を回避できると指摘している。
残念ながら、対話型GraphRAGの低遅延要件のため、KGの準同型暗号のような強力な暗号技術は現実的ではない。「テキストと埋め込みを完全に暗号化すると、各クエリごとにグラフの大部分を復号する必要がある」と研究者らは述べる。「このプロセスは、許容できない計算オーバーヘッドと遅延をもたらし、実運用には不適切である。」
研究者らは、AURAがこれらの問題に対処し、盗まれたKGを攻撃者にとって無価値にすると述べている。
AIはAIセキュリティより速く進んでいる
AIの利用が広がるにつれ、CSOは、人工知能と、それを動かすために必要なあらゆるものが、システムに不正データが投入された場合の復旧をはるかに困難にすることも忘れてはならない、とスタインバーグは指摘した。
「AIは、AIのためのセキュリティよりもはるかに速く進歩している」とスタインバーグは警告する。「現時点では、多くのAIシステムが、非AIシステムを守ってきたのと同様の方法で保護されている。それでは同じレベルの保護は得られない。なぜなら、何かが起きたときに悪いことが起きたかどうかを把握するのがはるかに難しく、攻撃の影響を取り除くのも難しいからだ。」
研究者らが論文で述べているように、業界はこれらの問題への対処を進めている。彼らが有用な参照として挙げるのが、堅牢なデータセキュリティとレジリエンスの必要性、そして効果的なKG保護の重要性を強調する、米国国立標準技術研究所（NIST）のAI Risk Management Frameworkである。
