AIと精度の死：ゼロトラストにとって何を意味するのか

出典：cagan niron / Alamy Stock Photo

AI生成コンテンツの氾濫は、AIツールが自分自身を学習し始めるにつれて、大規模言語モデル（LLM）にリスクをもたらす可能性がある。

ガートナーは1月21日、2028年までに組織の50%が、同社が「未検証のAI生成データ」と呼ぶものの増加を受け、ゼロトラストのデータガバナンス姿勢を実装すると予測した。ガートナーはこの考え方を「モデル崩壊」と名付けた。これは、AI生成コンテンツで学習する際に混入する誤りによって機械学習モデルが劣化し得るというものだ。ひいては、ゼロトラストに関連する新たなセキュリティ実務領域、すなわちモデル挙動の継続的評価を促す可能性がある。

同社がニュースリリースで説明したところによれば、LLMはインターネットからスクレイピングしたデータに加え、書籍やコードリポジトリといった他のコンテンツも用いて学習される。これらの情報源の一部にはAI生成コンテンツが含まれており（今後さらに増える可能性が高い）、たとえそれがハルシネーションであったり他の問題を抱えていたりしても、そのコンテンツが将来の出力に影響を与え、モデルの品質を低下させる恐れがある。

基本的な考え方は、ジャンクな学習データによって時間の経過とともに信号品質が劣化していくと、モデルは流暢さを保ちユーザーと十分に対話できる一方で、信頼性が低下し得るということだ。セキュリティの観点では、AIモデルはコードレビュー、パッチ推奨、アプリのコーディング、セキュリティのトリアージなどの作業において、自信満々でありながらもっともらしい誤りを生成する立場にあるため、危険になり得る。さらに重大なのは、モデルの劣化がシステムのガードレールを侵食し、整合性を崩すことで、攻撃者がプロンプトインジェクションのような手法でその隙を突く機会を与えてしまう点だ。

ガートナーによれば、同社の2026年CIOおよびテクノロジーエグゼクティブ調査の回答者の84%が、2026年に向けて自社の生成AI（GenAI）への投資を増やす見込みだという。モデル劣化は現時点では理論上の問題に過ぎないが、組織がLLM搭載製品を拙速かつ攻撃的に適用する世界では、急速に現実味を帯びる可能性がある。

「AI生成コンテンツがより一般的になるにつれ、特定の地域では『AIフリー』データを検証するための規制要件が強化されると見込まれます」と、ガートナーのマネージング・バイスプレジデントであるワン・フイ・チャン氏は述べた。「ただし、こうした要件は地域によって大きく異なる可能性があり、AI生成コンテンツに対してより厳格な統制を施行しようとする法域もあれば、より柔軟なアプローチを採用するところもあるでしょう」

モデル崩壊：どれほど現実的な問題なのか？

セキュリティベンダーAppOmniでAIディレクターを務めるメリッサ・ルッツィ氏はDark Readingに対し、人間が生成したデータの誤り、人間のバイアス、その他の要因により、「AIを学習させるための純粋でクリーンで完全に正しいデータがあるという考え方は、データが他のAIによって作られたか人間によって作られたかにかかわらず、成り立ちません」と語る。

だからといって、誤った学習データによる潜在的なモデル劣化に関する問題が存在しないというわけではない。むしろルッツィ氏は、人間由来・AI由来のいずれの誤った学習データも出力に悪影響を与え得るとし、このより広範な問題を考慮し、真剣に受け止めるべきだと主張する。

一方、AIセキュリティおよびガバナンス企業Noma Securityの最高情報セキュリティ責任者（CISO）であるダイアナ・ケリー氏は、モデル崩壊は制御された研究において観測されている実在の故障モードであるものの、現時点で大半の企業にとっての実務上のリスクは「一様ではない」と述べている。

「ほとんどの企業は最先端のLLMをゼロから学習させているわけではありません。しかし、内部ナレッジベースのように、時間とともにAI生成テキスト、要約、チケットを蓄積して自己強化的なデータストアを作り得るワークフローを、ますます構築しています」と彼女はDark Readingに語る。「将来のリスクが加速するのはそこです。世界に合成コンテンツが増え、組織内部にも合成コンテンツが増えるほど、高品質な人間生成の信号の比率は着実に低下します」

LLM利用者が将来に向けて考慮すべき点

ガートナーは、迫り来る可能性のあるモデル劣化の問題に対抗するため、組織にはAI生成データを識別してタグ付けする方法が必要になると述べた。これは、能動的なメタデータ運用（たとえば、データの再認証が必要になり得る場合にリアルタイムのアラートを設定するなど）や、AI生成コンテンツを責任をもって扱う方法を理解するガバナンス責任者の任命によって対処できる可能性がある。

AppOmniのルッツィ氏は、組織はセキュリティレビューを実施し、モデル選定を含むAI利用のガイドラインを策定すべきだと述べる。一方、AI搭載セキュリティベンダーAcalvioのCEOであるラム・バラダラジャン氏は、モデル崩壊のリスク低減は、規律あるデータパイプラインの直接的な成果だと語る。つまり、データの出所を把握し、学習入力から合成データ、有害データ、個人を特定できるデータをフィルタリングして除外することを意味する。

ケリー氏は、「信号を守る」ための現実的な方法があるとし、具体的にはモデル挙動の継続的評価と学習データのガバナンスを優先することだと主張する。

「最も重要なのは、錨となるのは実際の人間生成データだという事実を見失わないことです。それが品質データのゴールドスタンダードです。学習データと検索データは、排気のように流れ出るものではなく、ガバナンスされた資産として扱ってください」と彼女は言う。「これは、組織はデータの来歴を暗黙に信頼できず、検証手段が必要である、つまりデータガバナンスにおけるゼロトラスト姿勢が必要だというガートナーの指摘と密接に一致します」