LLMと文脈的インテグリティ

私はここ最近、AIとインテグリティについて考えを巡らせています。その一部が「文脈的インテグリティ」です。最近、このテーマを扱った論文を2本見つけました。

「CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs」:

概要: 大規模言語モデル(LLM)は、パーソナライゼーションとタスク性能を高めるため、過去のやり取りから得た永続的な記憶をますます活用するようになっています。しかし、こうした記憶は、機微な情報が不適切な文脈で開示されてしまうという重大なリスクをはらんでいます。本論文では、LLMがタスクの文脈に基づいて記憶からの情報フローを適切に制御できているかどうかを評価するベンチマーク「CIMemories」を提示します。CIMemoriesでは、ユーザーごとに100以上の属性を持つ合成ユーザープロファイルを用意し、それぞれの属性があるタスクでは不可欠でありながら別のタスクでは不適切となるような、多様なタスク文脈と組み合わせています。評価の結果、最先端モデルでも属性レベルで最大69%の違反(情報が不適切に漏えいするケース)が確認され、違反率を下げようとするとタスク性能の犠牲を伴うことが多いことが分かりました。違反はタスク数と実行回数の両方にわたって積み重なっていきます。使用回数が1タスクから40タスクに増えるにつれ、GPT-5の違反率は0.1%から9.6%まで上昇し、同一プロンプトを5回実行した場合には25.1%に達しました。これは、モデルが同一のプロンプトに対して異なる属性を漏えいさせるという、恣意的かつ不安定な挙動を示していることを意味します。プライバシーに配慮したプロンプトを用いても、この問題は解決しません。モデルは過度に一般化してしまい、文脈に応じたきめ細かい判断を下すのではなく、すべてを共有するか何も共有しないかのいずれかに振れてしまうのです。これらの知見は、単なるプロンプトの改良やスケーリングでは解決できない、文脈を踏まえた推論能力を必要とする根本的な限界を明らかにしています。

「Contextual Integrity in LLMs via Reasoning and Reinforcement Learning」:

概要: ユーザーに代わって自律的にエージェントが判断を下す時代が到来しつつある中、文脈的インテグリティ(CI)——あるタスクを遂行する際にどの情報を共有するのが適切かということ——の確保は、この分野における中心的な課題となっています。私たちは、CIを実現するには、エージェントが自らの置かれている文脈について推論する能力が必要だと考えています。この仮説を検証するため、まずLLMに対し、どの情報を開示するかを判断する際にCIについて明示的に推論するよう促しました。さらにこのアプローチを発展させ、CIの達成に必要な推論能力をモデルに植え付けるための強化学習(RL)フレームワークを構築しました。多様な文脈と情報開示規範を備えつつも、わずか700例の合成データセット(自動生成)を用いた結果、複数のモデルサイズおよびモデルファミリーにわたって、タスク性能を維持しながら不適切な情報開示を大幅に削減できることが示されました。重要な点として、この改善効果は合成データセットにとどまらず、AIアシスタントによるアクションおよびツール呼び出しにおけるプライバシー漏えいを評価する、人手によるアノテーション付きの確立されたCIベンチマーク「PrivacyLens」にも転移することが確認されています。