出典：Google Threat Intelligence Group
脅威アクターは、大規模言語モデル（LLM）を取り入れたマルウェアをテストしており、セキュリティツールによる検知を回避できるマルウェアの作成を試みています。今月初めに公開された分析で、GoogleのThreat Intelligence Group（GTIG）は、攻撃者がGoogle GeminiやHugging FaceなどのAIサービスを利用して、悪意のあるコードを書き換えたり、マルウェアが実行するためのユニークなコマンドを生成したりしている方法を説明しました。
このレポートでは、PROMPTFLUXと呼ばれる実験的なVBScriptプログラム（自身のソースコードを書き換えるためにGoogle Geminiを利用しようとする）や、PROMPTSTEALと名付けられたPython製データマイナー（Hugging Face APIを利用して侵害されたシステムの脆弱性を分析する）など、5つの異なるプログラムが取り上げられています。脅威アクターは、AI技術を自らのプログラムにさらに組み込む方法を急速に模索していると、研究者らは分析で述べています。
「熟練したアクターにとって、生成AIツールは、サイバー脅威活動におけるMetasploitやCobalt Strikeの利用と同様に、有用なフレームワークを提供します」と研究者は述べています。「これらのツールはまた、低レベルの脅威アクターにも高度なツールの開発、既存技術の迅速な統合、技術力や言語能力に関係なくキャンペーンの効果を高める機会を与えます。」
これらのマルウェアサンプルは、脅威アクターが戦術を進化させている最新の例です。サイバー犯罪者は、LLMを開発ツールとしてマルウェアを作成したり、あるいは実際にはトロイの木馬である正規のように見えるアプリケーションを生成したりしています。最近のBlack Hat Security Briefingsでは、ある研究者が、Microsoft Defender for Endpointを8%の確率で回避するコードを生成できるLLMの訓練方法を実演しました。
攻撃者はAIを使った実験を行っている
一般的に、AIを活用したマルウェアは2つのカテゴリに分けられます——LLMによって生成されたものと、実行時にLLMを利用するものです。ほとんどの場合、脅威アクターはマルウェアのコーディング支援や、ターゲットへの攻撃の自動化のためにLLMを利用しています。これまでのところ、サイバー攻撃者によるAIの利用は主にマルウェアのコーディング支援が中心です。場合によっては、攻撃のほぼ全工程をAIで自動化する例もあります。現時点では、AIを活用したマルウェアのうち、実行時にLLMへアクセスしようとするものは少数派だと、サイバーセキュリティ企業Palo Alto NetworksのUnit 42脅威インテリジェンスチームでマルウェアオペレーションを率いるOmar Sardar氏は述べています。
「これらのサンプルの大半はプロトタイプのようで、LLMの出力を使って挙動を変えるものは見られません」とSardar氏は述べ、これらの実験的バリエーションの多くには、現在のエンドポイント検知・対応（EDR）ソリューションで検出可能な明らかな実行アーティファクトがあると付け加えています。
GoogleのThreat Intelligence Groupは、「運用で観測された」3つのマルウェアサンプルについて説明しました。リバースシェルプログラムFRUITSHELLは、検知回避を助けるためのプロンプトがハードコードされており、前述のPROMPTSTEALはHugging Face APIへの呼び出しを利用して、標的システムから情報収集を支援するWindowsコマンドを返します。3つ目のAI利用マルウェアサンプルであるQUIETVAULTは、AIプロンプトを利用して現在のシステム上のシークレット検索と、それらを攻撃者管理のアカウントへ流出させることを支援します。他の2つのプログラムは実験的とされ、実際の攻撃には使用されていません。
LLMのガードレールはこの種の攻撃に対する第一の防御線ですが、これらの防御を回避するために攻撃者がますます使う手法が、「キャプチャ・ザ・フラッグ（CTF）大会に参加しており、演習用の攻撃コードが必要だ」とする名目を使うことです。研究者によると、Google Geminiの安全性アライメントでブロックされたリクエストも、攻撃者が同じ情報をCTF演習の一環として要求した際には許可されたとのことです。
「このアクターはこのやり取りから学び、CTFの名目をフィッシングやエクスプロイト、ウェブシェル開発の支援に利用しました」と研究者は記しています。「AI利用のこのような微妙な違いは、善良な利用と悪用の重大な差異を浮き彫りにしており、私たちはGeminiの機能性と使いやすさ、そしてセキュリティのバランスを取るために引き続き分析を行っています。」
LLM生成マルウェア：ブロック＆ロール
企業は、攻撃者が実行時にAIを使ってコードを生成し、特定の環境に適応させたり、活動を難読化して検知を回避したり、ソーシャルエンジニアリングを強化したり、動的な意思決定を促進したりする実験を今後も続けると予想すべきだと、AIネイティブのデータセキュリティプロバイダーであるForcepointのチーフデータストラテジーオフィサー、Ronan Murphy氏は述べています。しかし現時点では、これらの活動はかなり明白です。
「これらの攻撃が成立するのは、AIサービスがマルウェアを柔軟かつ予測不能に保てるからですが、同時に外部ネットワークアクセスに依存するため、強力なエグレスコントロールやAIサービスの監視によって検知・ブロックが可能です」とMurphy氏は述べています。「多くの手法はまだ実験段階で広く普及してはいませんが、攻撃をより適応的かつ防御困難にする現実的な可能性を秘めています。」
CiscoのAI脅威・セキュリティ研究リーダーであるAmy Chang氏は、実行時にLLMを使う試みは、1990年代のポリモーフィックコード生成の試みに似ていると述べています。企業はこのような挙動を検知するためにAIを活用し、攻撃者より先手を打つ方法を模索すべきです。
「セキュリティ業界がLLMの活用によってネットワークやシステム防御を強化しようとする一方で、脅威アクターも同じ手法で脆弱性を特定し悪用しようとしています」と彼女は述べています。「従来のシグネチャベース検知よりも、期待される挙動からの逸脱や予期せぬコードの出現をより的確に検知できる機械学習モデルやアルゴリズムの活用が重要です。」
翻訳元: https://www.darkreading.com/threat-intelligence/malware-authors-incorporate-llms-evade-detection
