研究者たちはAIに盗まれた際に結果を台無しにするため、自分たちのデータに毒を盛る

ソーシャルメディアネットワークの概念を表したイメージ

  • 中国とシンガポールの研究者が、GraphRAGシステムを保護するためにAURA(改ざんによる能動的有用性低下)を提案
  • AURAは独自のナレッジグラフに意図的に毒を盛り、盗まれたデータが幻覚や誤答を生むようにする
  • 正しい出力には秘密鍵が必要で、テストでは盗まれたKGの有用性を低下させる効果が約94%であることが示された

中国とシンガポールの大学の研究者たちは、生成AIで使われるデータの盗難を防ぐための創造的な方法を考案した。

とりわけ、今日の大規模言語モデル(LLM)には重要な要素が2つある。学習データと、検索拡張生成(RAG)だ。

学習データは、言語がどのように機能するかをLLMに教え、あるカットオフ時点までの幅広い知識を与える。しかし、新しい情報、非公開文書、あるいは急速に変化する事実へのアクセスをモデルに与えるわけではない。学習が完了すると、その知識は固定される。

時代遅れの装備を置き換える

一方のRAGは、多くの現実の質問が、最新で具体的、または独自のデータ(企業ポリシー、最近のニュース、社内レポート、ニッチな技術文書など)に依存するために存在する。データが変わるたびにモデルを再学習させる代わりに、RAGは必要に応じて関連情報を取得し、それに基づいて回答を書けるようにする。

2024年、MicrosoftはGraphRAGを発表した。これは、取得した情報を平坦な文書リストではなくナレッジグラフとして整理するRAGの一種だ。これにより、エンティティ、事実、関係性が互いにどうつながっているかをモデルが理解しやすくなる。その結果、AIはより複雑な質問に答えられ、概念間のリンクをたどれ、孤立したテキストではなく構造化された関係性に基づいて推論することで矛盾を減らせる。

こうしたナレッジグラフはかなり高価になり得るため、サイバー犯罪者や国家、その他の悪意ある主体に狙われる可能性がある。

「Making Theft Useless: Adulteration-Based Protection of Proprietary Knowledge Graphs in GraphRAG Systems(盗難を無意味にする:GraphRAGシステムにおける独自ナレッジグラフの改ざんベース保護)」と題した研究論文で、著者のWeijie Wang、Peizhuo Lvらは、Active Utility Reduction via Adulteration(改ざんによる能動的有用性低下)、すなわちAURAと呼ばれる防御機構を提案した。これはKGに毒を盛り、LLMが誤答したり幻覚を起こしたりするようにする。

正しい答えを得る唯一の方法は秘密鍵を持つことだ。研究者たちは、このシステムに欠点がないわけではないが、ほとんどの場合(94%)で非常によく機能すると述べた。

「盗まれたKGの有用性を低下させることで、AURAはGraphRAGにおける知的財産を保護するための実用的な解決策を提供する」と著者らは述べている。

翻訳元: https://www.techradar.com/pro/security/researchers-poison-their-own-data-when-stolen-by-an-ai-to-ruin-results

ソース: techradar.com