出典: Krot_Studio via Alamy Stock Photo
人工知能（AI）は脅威の検出と対応プロセスを迅速化することでセキュリティオペレーション（SecOps）に利益をもたらしますが、幻覚は誤警報を生成し、チームを無駄な追跡に導く可能性があります。
AIの幻覚は、主に大規模言語モデル（LLM）に影響を与え、誤った、誤解を招く、または偏った情報を生成します。しかし、疑わないユーザーはそれらの応答を正当なものとして受け入れ、それに基づいて自信を持って意思決定を行うかもしれません。AIの幻覚の例は数多く存在し、法的文書における架空の法ケース、架空の書籍タイトル、存在しない研究などがあります。AIの専門家は、カジュアルなChatGPTクエリを実行する一般ユーザーであれ、AIを使用してコードを書く熟練した開発者であれ、幻覚が及ぼす影響について繰り返し警告しています。
AIツールに依存して重要な意思決定を行う組織は、不正確な発見や誤った報告のリスクを考慮する必要があります。幻覚は、決定が誤ったデータに基づいて行われたために、組織の評判や財務に影響を与える可能性があります。AIの幻覚の影は、SecOpsチームにとって恐ろしい疑問を投げかけます：AIモデルは誤った攻撃信号を生成することができるのか？残念ながら、その答えは「はい」です。
セキュリティオペレーションにおけるAIの幻覚
AIモデルはビジネスオペレーションやプロセスのパターンを認識し、それに基づいて答えを予測します。しかし、幻覚はモデルへの誤った自信を生み出します。これは、AIが脅威の調査、検出、インシデント対応に使用される際に多くの懸念を引き起こします。モデルは、問題を修正するのではなく、実際にはリスクをもたらす組織の防御や環境への変更を推奨する可能性があると、TaniumのAI担当副社長であるHarman Kaurは警告しています。
関連記事:LLMを軌道に乗せることは設計・工学上の課題を伴う
「第二に、AIはサイバーセキュリティの研究で多く使用されており、『これは悪意のあるものか？何をしているのか？』と問います」とKaurは説明します。「幻覚はその研究に現れ、AIが『悪意のあるものではない』と言ったときに、全く異なる調査の道を進むことになります。これが今の根本的な問題です。どうすればそれを防ぎ、誰もそのアドバイスを受け入れて組織に影響を与える決定を下さないようにするか？」
AIの幻覚から生じるもう一つの潜在的なリスクは、特にAIが脅威インテリジェンスを生成するために使用される場合、誤った攻撃信号の生成です。研究者はエンドポイントに対する悪意のある活動をスキャンし、検出のための特性セットを作成するためにAIをよく使用するとKaurは述べています。
「幻覚は、AIが何かを見逃し、それが脅威検出のために書き留めることが重要であると認識しない場合にも現れる可能性があります」とKaurは言います。
関連記事:AIエージェントは新しい方法で失敗し、ビジネスを危険にさらす
誤った攻撃信号に注意
誤った攻撃信号は、運用技術（OT）の世界では特に有害であり、プラントが完全にオフラインになる可能性があります。コストが増えるだけでなく、OT環境のダウンタイムはIT環境よりも高価で複雑です。これらの懸念は、医療や教育分野でも一般的です。
誤った攻撃信号は、モデルがどのように訓練されているか、つまり公開データか内部データかに起因すると、TenableのCSOであるBob Huberは説明します。
「一部はオペレーターにも関係します。モデルを扱う経験の浅い人がいる場合や、オペレーター自身が誤った仮定を持っている場合、データが幻覚を起こし始める可能性があります」とHuberは言います。「私の懸念は、その幻覚がどこであっても誰かが行動を起こすときに生じます。それが問題になります。」
AIの幻覚を意識する
Tenableの製品機能の一つは、AIを利用して攻撃チェーンを説明することに依存しています。幻覚を防ぐために、チームは同様の質問に対する出力が次回に異なる場合に何が起こるかを考慮したとHuberは述べ、これは監督学習が重要であると指摘しています。「その質問が少なくとも私たちが期待するものに近いことをどのように保証するか？」とHuberは問い、時間をかけて追跡できるように「私たちが答えがどのように見えるべきかを理解することが重要である」と述べています。
特にAI搭載ツールが行動を推奨したり、環境に重要な変更を加えたりする場合、人間中心のアプローチが今は不可欠であるとKaurは言います。現在、それは80/20の協力関係に近く、大部分のタスクは何らかの人間の関与を必要とします。AI搭載ツールを開発する際には、人間がワークフローを確認し、AIが変更を行う前に承認するべきだと彼は言います。
「それを調整して修正するか、質問やプロンプトが形成または尋ねられるのを防ぐかのどちらかです」とKaurは言います。
幻覚の緩和は、Trend Microの責任あるAI開発戦略の中核部分でもあると、Trend Microのグローバルセキュリティおよびリスク戦略のシニアマネージャーであるShannon Murphyは述べています。同社は最近、脅威検出AIモデルとエージェントであるTrend Cybertronをオープンソース化しました。AIエンジニア、研究者、製品リーダー、元CISO、脅威の専門家によるレビューに加えて、LLMは同社のマルチモデルアーキテクチャの重要な要素であるとMurphyは述べています。「セキュリティユースケースのために特別に設計されたため、一般的なLLMと比較して幻覚リスクを大幅に減少させます」とMurphyは主張します。
チームは継続的なリスクに対処できる
AIの幻覚は今のところ避けられませんが、特にAI搭載ツールが市場に溢れている中で、セキュリティチームがリスクを緩和または調整する方法はあります。コードがレビューされる方法に似た構造を実装することが一つの方法であるとHuberは推奨します。「コードを書くときには、4つの目によるレビューがあります—2人がコードをレビューします」とHuberは言います。「AIにより重く依存し始める場合は、1つのソースを超えて検証してください。」モデルを訓練するために使用されるか、意思決定を行うために使用されるかにかかわらず、両方を持つことは良いアイデアです。
リスクに対処するためには、幻覚を教育し認識することも重要であり、それがなぜ起こるのかを理解することも重要です。その一部は、幻覚がさまざまな形をとる可能性があることを理解することを意味します—時には明らかですが、ユーザーがその主題にあまり詳しくない場合、それは難しいかもしれません。また、幻覚の数を最小限に抑える方法を考慮することも重要です。完全に防ぐ方法はないとKaurは警告しています。
「私たちが望むタスクに適したモデルを使用しているか？」とKaurは問いかけます。「特定のモデルは特定のタスクに適しています。幻覚の数を減らすことが重要です。」
‘ツールの透明性を要求する’
強力なデータガバナンス、ITオペレーションとSecOpsの間のより緊密なコミュニケーション、AI生成出力に対する明確なポリシーも、企業がリスクを管理するのに役立ちます。Murphyはまた、モデルの動作、微調整、更新サイクルに関するツールの透明性を要求するよう組織に促しました。もう一つのリマインダー：ゼロトラストは人だけでなく、すべての人に適用されます。
SecOpsは、より速いブレークアウト時間、新しい攻撃手法、採用の課題、燃え尽き症候群に関連する課題が増えている中で、AIの採用を停止することは答えではないとMurphyは付け加えます。
「クリーンなデータと明確なアクセス制御ポリシーがあれば、ビジネスが使用している内部ツールや顧客向けアプリは、幻覚のリスクを積極的に管理することでより良い体験を提供します」とMurphyは推奨します。