CISOがAIの幻覚に対抗する9つの方法

AI幻覚は周知の問題であり、コンプライアンス評価に関しては、これらの説得力のある不正確な評価は、不正なリスク評価、不正なポリシーガイダンス、または不正なインシデントレポートにより実際の損害をもたらす可能性があります。

サイバーセキュリティのリーダーたちは、AIが要約の作成を超えて判断を下し始めるときに、本当の問題が生じると述べています。セキュリティ管理が機能しているかどうか、企業がコンプライアンス基準を満たしているかどうか、またはインシデントが適切に処理されたかどうかを判断することを求められるときです。

CISOがAI幻覚の問題に対処する9つの方法をここに示します。

重大な決定にはヒューマンループを保つ

DeVry UniversityのバイスプレジデントでありCISOであるFred Kwongは、彼のチームがガバナンス、リスク、およびコンプライアンス業務、特にサードパーティのリスク評価でAIを慎重にテストしていると述べています。彼は、AIがベンダーアンケートと、これらのベンダーのセキュリティ姿勢を評価する支援証拠をレビューするのに役立つが、人間に取って代わることはないと指摘しています。

「私たちが見ているのは、解釈が私が望むほど良くないということです。または、人間として私たちが解釈しているのとは異なります」とKwongは述べています。

彼は、AIは経験豊富なセキュリティ専門家が行うのとは異なる方法で管理要件を読み取ることが多いと説明しています。そのため、彼のチームはまだ手動で結果をレビューしています。今のところ、AIは技術への信頼がまだそこにないため、それほど多くの時間を節約していないと彼は述べています。

InforのシニアバイスプレジデントでありCISOであるMignona Coté は、特にリスクスコアリング、管理評価、およびインシデントトリアージにおいて、人間の監視が重要であることに同意しています。「ループにヒューマンを保つ、それだけです」とCoté は述べており、AIを生産性ツールと見なしており、独立して最終決定を下すべきものではないと考えています。

AIの出力を完成品ではなくドラフトとして扱う

セキュリティ専門家によると、最大のリスクの1つはAIへの信頼が高すぎることです。Coté は、彼女の組織がAI生成コンテンツが人間のレビューなしにコンプライアンス文書に直接入らないようにポリシーを変更したと述べています。

「あなたのチームがAI生成の回答を完成したワークプロダクトとして扱い始めたとき、あなたは問題を抱えています」と彼女は述べています。「すべての出力を最終版ではなく初稿として扱います。反復的な質問が反復的な回答を持つようになる時点が来るでしょう。これらの回答にラベルを付け、作成時にタイムスタンプを付けることで、それらはスケールで対処できます。」

MphasisのチーフソリューションオフィサーであるSrikumar Ramanathan は、このような過度な信頼は、彼が「オートメーションバイアス」と呼ぶものから生じることが多いと述べています。人々は自然に、明確かつ自信を持って書かれたものは正しいに違いないと仮定します。

それに対抗するために、彼は企業が「積極的な懐疑」文化を構築する必要があると述べています。「[つまり] AIの出力を検証されていないドラフトとして見なすことは、行動可能になる前に人間の責任の署名が必要です」と彼は説明しています。

ベンダーから洗練された散文ではなく証拠を要求する

ベンダーが彼らのAIが「コンプライアンスを評価する」または「管理を検証する」ことができると言うとき、セキュリティリーダーたちは購入者が難しい質問をする必要があると言います。

Kwong は、ベンダーにAIが与える回答の追跡可能性を提供するよう促し、彼のチームはAIがどのように結論に到達したかを見ることができます。「その追跡可能性がなければ、それは私たちが特定するのをさらに難しくします」と彼は述べています。

Ramanathan は、購入者は、タイムスタンプ付きのログエントリまたは特定の構成ファイルなど、回答の背後にある正確な証拠を指すことができるかどうかをベンダーに尋ねるべきであると述べています。できない場合、ツールはただ正しく聞こえるテキストを生成しているかもしれません。

サイバーセキュリティおよびアイデンティティリーダーのPuneet Bhatnagar は、重要な質問はAIが実際にライブ運用データを分析しているのか、単にドキュメントを要約しているのかということであると述べています。「ベンダーが結論の背後にある決定的な証拠パスを示すことができない場合、それはおそらくナラティブを生成しており、評価を実行していないのです」とBhatnagar は述べており、最近ではBlackstoneのシニアバイスプレジデント兼アイデンティティ管理責任者を務めていました。「コンプライアンスは言語についてのものではありません。それは証拠についてです。」

信頼を拡張する前にモデルをストレステストする

Kwong は、AIツールがどの程度一貫しているかを確認するためにテストすることをお勧めします。たとえば、同じデータを2回通し、結果を比較します。

「同じデータを再度送信すると、同じ結果を返していますか?」と彼は尋ねています。

答えが大きく変わる場合、それは赤い旗です。彼はまた、重要な証拠を削除して、モデルがどのように反応するかを見ることを勧めています。それでも自信を持って答えを与える場合、それは幻覚の信号である可能性があります。

Coté は彼女のチームが、スキャンシステムと外部侵入テストの結果を含む他のツールに対してAI出力をチェックしていると述べています。「そして、既知の結果に対して繰り返し自分自身を証明するまで、AI ツールへの信頼を拡張することはありません」と彼女は述べています。

幻覚率を測定し、ドリフトを監視する

セキュリティリーダーたちは、組織が時間とともにAIの精度を追跡する必要があると述べています。Kwong は、チームが定期的にAI生成の評価を人間のレビューと比較し、違いを研究する必要があると述べています。このプロセスは少なくとも四半期ごとに発生する必要があります。

Ramanathan は、「ドリフト率」などのメトリクスを追跡することをお勧めします。これは、AI結論がヒューマンレビューとどの程度異なるかを測定します。「6か月前に92%正確で、今日85%正確なモデルは、チームの信頼がより高い数値に調整されたため、一貫して80%であるモデルよりも危険です」と彼は指摘しています。

彼はまた、引用された証拠が実際にAIの主張をどの程度サポートしているかを測定することをお勧めします。幻覚率が高すぎる場合、組織はAIが持つ権限を減らす必要があります。たとえば、ガバナンスモデルでのより自律的でない役割にダウングレードします。

コンプライアンスマッピングの文脈的盲点を監視する

Bhatnagar は、最も危険な幻覚は、AIが管理の有効性、規制上のギャップ、またはインシデント影響に関する判断を下すよう求められる場合に発生すると述べています。

AIが「妥当なコンプライアンス」を生成できます。これは説得力があるが、実世界のコンテキストが欠けているために誤った回答です。コンプライアンスは、多くの場合、技術的な詳細、補償的な管理、およびドキュメンテーションだけでは示さない運用上の現実に依存しています。

Ramanathan は、AIは寛容な言語（「5月」、「缶」）と制限的な言語（「必須」、「する必要があります」）のニュアンスに苦労することが多いと付け加えています。

「たとえば、AIはしばしば「従業員はトレーニング完了後にシステムにアクセスできます」のような寛容な言語を厳密で強制可能なルールとして誤解し、オプションの権限を必須の管理として扱うことがあります」とRamanathan は説明しています。「これにより、AIは許可的または曖昧な言語の権限を過大評価し、ポリシーが適切に実行されているか、セキュリティ対策が効果的かについての不正な仮定につながります。」

一般的または同一の評価に異議を唱える

一部のベンダーは、彼らのAIツールが実際に何をするかについて誇張しています。Bhatnagar は、多くのツールがドキュメントを要約したり、ギャップレポートを生成したりしますが、ベンダーはこれらの機能を完全な自動コンプライアンスチェックを行っているかのようにマーケティングしています。

複数の顧客がほぼ同じ評価を受け取る場合、リスクが増加します。組織は、AIが表面的なドキュメントレビューのみを実行したときに、管理が徹底的に評価されたと信じるかもしれません。

Ramanathan は、これは虚偽の確信と広範な業界リスクを生み出すと述べています。1つの一般的なモデルに欠陥がある場合、その盲点は広く広がる可能性があります。

Bhatnagar は、複数の顧客が構造的に類似した、またはほぼ同一の評価を受け取る場合でも、ベンダーがAIツールを組織がコンプライアンスにあるかどうかを評価するようにマーケティングしているのを見たと付け加えています。

そのような状況では、ツールは実際に企業固有のポリシーまたは証拠を分析していない可能性がありますが、代わりに現実に根ざしていない限定されたテキストを生成しています。「AI ナラティブ生成から AI ベースの検証を分離する初期段階にまだあります」と彼は述べています。「この区別は、ガバナンスツールの次の段階を定義します。」

監査および法的レビューにおける責任を強化する

規制の観点から、専門家によると、AIは責任を排除しません。Ramanathan は、規制当局は注意義務が企業役員に留まることを明確にしていると述べています。

「AI生成の評価が重大な弱点を見逃す場合、組織は「監督に失敗した」責任を負います」と彼は述べています。「私たちはすでに、検証されていないAI出力に依存することが重大な過失と見なされる可能性がある時代にあります。監査結果がAIエラーのために間違っている場合、監査に合格できなかっただけでなく、誤解を招く規制声明を提出したことに対して責任を負います。「AIが言ったから」は防御ではありません。」

Coté は、すべての重大な決定が人間によってレビューおよび承認されたことを示すことができることが監査中に重要であると述べています。「重要なのは、重大な決定ポイントのすべてで人間がいたこと、そしてそれをバックアップするタイムスタンプと監査証跡があることを証明することです」と彼女は指摘しています。

自動規制マッピングに注意する

Ramanathan は、企業がAIに内部管理を規制フレームワーク（GDPR、SOC 2など）に自動的にマッピングすることに依存する場合、最大のコンプライアンスリスクが発生すると述べています。

「圧倒的に最大のコンプライアンスリスクは自動規制マッピングにあります」と彼は指摘しています。「AIは、機能または運用上の現実ではなく、言語パターンに基づいて管理が存在するか、要件を満たしていると自信を持って主張する可能性があります。」

たとえば、AIツールはデータベース構成にリストされた暗号化設定を見て、その機能がシステムでオフになっている場合でも、暗号化がアクティブであると仮定する可能性があります。

Ramanathan は、これは「企業が監査準備完了していると信じている大規模なセキュリティギャップを作成できますが、侵害中に彼らのAI検証防御が存在しないか、誤って構成されていることを発見するだけです」と述べています。

そのリスクを減らすために、彼は組織がポリシーと規制をより明確に構造化し、AIだけに文書の解釈に依存するのではなく、強制可能な技術規則に接続する必要があると述べています。