攻撃者が生成AIを使用してシステムを悪用する13の方法

人工知能は技術業界を革命化しており、サイバー犯罪のエコシステムも同様に、サイバー犯罪者がますます生成AIを活用して戦術、技術、手順を改善し、より速く、より強力で、よりこっそりとした攻撃を実行するようになっています。

新興AI技術の正当な使用と同様に、悪意のある目的で生成AIを悪用することは、これまでのところ、新しく見えない方法についてというよりも、生産性と効率、参入障壁の低下、および自動化可能なタスクをオフロードして、関係する人間のより高度な思考を優先することについてです。

「AIは必ずしも新しいタイプのサイバー犯罪をもたらすわけではなく、代わりに既知の既存犯罪を加速・拡大する手段を提供し、新しい脅威ベクトルを導入することができます」と、AI セキュリティテスト企業MindgardのCEO/CTO兼英国ランカスター大学の教授であるDr. Peter Garraghanは述べています。「正当なユーザーがAIを使用してタスクを自動化し、複雑なパターンをキャプチャし、技術的な参入障壁を低くし、コストを削減し、新しいコンテンツを生成することに有用性を見いだせるなら、なぜ犯罪者も同じことをしないのでしょうか?」

しかし、エージェントAIの出現により、AIツールはもはや攻撃者を支援するだけでなく、操作の自動化を支援するようになり、状況は変わり始めています。

「過去1年間で最も重要な変化は、AIが単純な『ヘルパー』から完全に自律的な、文字通り攻撃者の『犯罪相棒』へと進化し、攻撃チェーン全体を実行できるようになったことです」と、クラウドネイティブセキュリティおよび可視性ベンダーSysdigのシニアサイバーセキュリティストラテジストであるCrystal Morinは述べています。

以下は、サイバー犯罪者が現在、企業システムの悪用に生成AIを使用している様々な方法を見てみます。

フィッシングを次のレベルへ

生成AIは非常に説得力のあるフィッシングメールの作成を可能にし、潜在的な対象者が詐欺サイトに機密情報を渡したり、マルウェアをダウンロードしたりする可能性を大幅に高めます。

サイバー犯罪者は、一般的な、説得力のない、エラーに満ちたメールを送信する代わりに、AIを活用して、特定の受信者をターゲットにした、より洗練されたパーソナライズされた正当に見えるメールを迅速に生成できます。

生成AIツールは、ソーシャルメディアから得られたターゲット情報を含む、広範なデータソースを集めることでフィッシングキャンペーンを充実させるのに役立ちます。

「AIは、どのタイプのメールが拒否または開封されているかをすばやく学習し、フィッシングの成功率を高めるようにアプローチを修正するために使用できます」とMindgardのGarraghanは説明しています。

マルウェア開発の促進

AIは、より洗練された、またはより労力が少ないマルウェアを生成するためにも使用できます。

たとえば、サイバー犯罪者は生成AIを使用して悪意のあるHTMLドキュメントを作成しています。HTMLスマグリングによって開始されたXWorm攻撃は、マルウェアをダウンロードして実行する悪意のあるコードを含みており、AI経由の開発の特徴を示しています。

「ローダーの詳細な行ごとの説明は、生成AIを使用して作成されたことを示唆しています」と、HP Wolf Security’s 2025 Threat Insights Reportによると。

さらに、「XWormを配信するHTMLウェブページの設計は、LLMにファイルダウンロードを提供するHTMLページを生成するよう促した後のChatGPT 4oの出力とほぼ視覚的に同一です」と、HP Wolf Securityはレポートで追加しています。

その一方で、ランサムウェアグループFunkSec(二重恐喝戦術を活用するアルジェリア関連のランサムウェア・アズ・ア・サービス(RaaS)オペレーター)がAI技術を活用し始めたと、Check Point Researchによると。

「FunkSecオペレーターはAI支援マルウェア開発を使用しているようであり、これは経験の浅いアクターでさえ高度なツールを迅速に作成および改良することを可能にします」と、Check Pointの研究者がブログ投稿で書いています

脆弱性ハンティングとエクスプロイトの加速化

脆弱性についてシステムを分析し、エクスプロイトを開発することも、生成AIの使用を通じて簡素化できます。

「ブラックハットハッカーがシステムの周辺に対してプローブして偵察を実行するのに時間を費やす代わりに、AIエージェントがこれを自動的に実行するようにタスク付けることができます」とMingardのGarraghanは述べています。

生成AIは、脆弱性が発見されてから攻撃者に悪用されるまでの時間を47日からたった18日に短縮した62%の削減を引き起こしている可能性があります。これは、脅威インテリジェンス企業ReliaQuestの昨年の研究によるものです。

「この急激な減少は、主要な技術進歩(おそらく生成AI)が脅威アクターが前例のないスピードで脆弱性を悪用することを可能にしていることを強く示唆しています」と、ReliaQuestは書いています。

敵はペンテストツールと並んで生成AIを活用して、ネットワークスキャン、権限昇格、ペイロードのカスタマイズなどのタスク用のスクリプトを作成しています。AIはおそらくサイバー犯罪者がスキャン結果を分析し、最適なエクスプロイトを提案するためにも使用されており、被害者システムの欠陥をより速く特定できます。

昨年、Carnegie MellonのCyLab Security & Privacy Instituteの研究者は、Anthropicと協力して、GPT-4oのようなLLMがエンタープライズスケールのネットワークに対して自律的に洗練されたサイバー攻撃を計画および実行できることを実証しました。人間の介入なしです。

「この研究は、LLMが高度な計画機能で構成され、特殊なエージェントフレームワークでサポートされている場合、ネットワーク侵入をシミュレートし、実世界の侵害を密接に反映できることを明らかにしています」と、CyLabのスポークスパーソンは説明しました。

代替プラットフォームでの脅威の拡大

サイバー犯罪者は、WormGPT、FraudGPT、DarkBERTなどの独自の大規模言語モデル(LLM)を開発し始めており、これらは主流の生成AIプラットフォームの犯罪者による悪用を制約するガードレールなしで構築されています。

これらのプラットフォームは、フィッシングやマルウェア生成などのアプリケーションに一般的に活用されています。

さらに、主流のLLMはターゲット使用向けにカスタマイズすることもできます。セキュリティ研究者のChris Kubeckaは、2024年後半にCSOと共有した、彼女のカスタムバージョンのChatGPT、Zero Day GPTが、数ヶ月の間に20以上のゼロデイを特定するのに役立ったかについて述べています。

LLMジャッキングによるリソースの盗難

脅威アクターは、自分たちの利益のためにまたはアクセスを売却するために、高価なLLMリソースをハイジャックするために特にクラウド認証情報を盗むのに忙しいです。この攻撃技術は、LLMジャッキングと呼ばれています。

「サービスの盗難を超えて、攻撃者は現在、より成熟したプラットフォームのガードレールが不足しているものを特定するために新しいLLMモデルを積極的にプローブしており、悪意のあるコードを生成したり地域制裁を回避したりするための制限のないサンドボックスとして効果的に使用しています」と、SysdigのMorinはレポートしています。

AIエージェント向けシルクロード型マーケットプレイスの作成

個々の攻撃を実行するAIエージェントを超えて、セキュリティ専門家は調整それ自体が自動化または調整されている例を追跡し始めています。

「複数の専門化されたエージェントが相互作用する初期実験が見られており、一部は偵察に焦点を当て、他は工具、実行、またはデータ移動に焦点を当てており、単一のエージェントが全体像を必要としません」と、Vectra AIのサイバー脅威研究マネージャーであるLucie Cardietは述べています。

これの具体的な例は、Molt Roadであり、AIエージェント向けのダークウェブスタイルのマーケットプレイスを提供していますが、現在のところリスティングはほとんどありません。

「自律エージェントはリスティングを作成し、アクセスまたは機能を販売し、タスクを調整し、人間の介入を最小限に抑えてトランザクションを完了でき、サイバー犯罪の経済学を効果的に自動化します」と、CardietはCSOに述べています。

「今後数ヶ月で、攻撃者がこのモデルを積極的に活用し、攻撃チェーンを専門化された協力するエージェントに分割して、攻撃をスピードアップ・スケールアップすることが期待できます」と、彼女は述べています。

認証バイパスで侵入

生成AIツールは、CAPTCHAまたは生体認証などのセキュリティ防御をバイパスするために悪用することもできます。

「AIはCAPTCHAシステムを破り、音声生体認証を分析して認証を侵害することができます」と、サイバーセキュリティベンダーDispersiveによると。「この機能は、組織がより高度な階層化されたセキュリティ対策を採用する必要性を強調しています。」

AI生成のディープフェイクは、説得力の低いメールベースの攻撃に頼る代わりに、音声やビデオなど、多くの従業員がより暗黙的に信頼するチャネルを悪用するために悪用されています。

より説得力のあるディープフェイクを作成できるAI技術のより広い利用可能性により、問題はより深刻になっていますと、ディープフェイク検出プラットフォームReality DefenderのCTOであるAlex Lisleによると。

「認証情報のリセットに視覚的検証に頼るサイバーセキュリティ企業を関わる最近のケースがありました」と、Lisleは述べています。「彼らのプロセスは、パスワードリセットの前に従業員の身元を確認するために、マネージャーがITとのZoomコールに参加する必要がありました。」

Lisleは説明します:「攻撃者は現在、ディープフェイクを活用してこれらのリセットを認可するためにライブビデオコール上でそれらのマネージャーになりすましています。」

これまでの最も注目度の高い例では、設計およびエンジニアリング企業Arupの金融ワーカーは、詐欺師がディープフェイク技術を使用して英国ベースのCFOになりすました動画会議コール後、不正なHK$200百万(2560万ドル)取引を認可するように騙されました

サイバー犯罪者は、従来のフィッシングやマルウェアの代わりに、広告とコンテンツプラットフォーム経由で配信されるブランド詐称キャンペーンを配信するために、生成AIツールを使用し始めています。

「攻撃者は現在、生成AIを使用して現実的な広告コピー、クリエイティブ、および偽のサポートページを大量生産し、検索広告、ソーシャル広告、およびAI生成コンテンツ全体に配布し、『ブランドログイン』または『ブランドサポート』などの高意思クエリをターゲットにしています」と、オンライン広告エコシステムの保護を専門とするセキュリティスタートアップImpersonAllyの共同創設者兼CEOであるShlomi Beerは説明しています。

戦術は、Google Ad account fraudの継続シリーズで使用され、Cursor AI coding assistant firmになりすまし、および偽のShopify eコマースプラットフォーム顧客サポート詐欺を含む他の攻撃で使用されました。

OpenClawの悪用

攻撃者はOpenClawなどのウイルス性個人AIエージェントもターゲットにし始めています。

OpenClawはオープンソースAIエージェントフレームワークを提供しています。スキルマーケットプレイスへのサプライチェーン攻撃と設定ミスの組み合わせにより、潜在的なエクスプロイトとマルウェアのドアが開きます。これは、CSOが私たちの以前のレポートでより深く説明したものです。

「サイバー犯罪者はこれらの仮想アシスタントを悪用して、暗号通貨ウォレットへの秘密鍵を盗んで、被害者のデバイス上でコードを実行できます」と、Dropzone AIのCEO兼創設者であるEdward Wuは述べています。「2026年は、セキュリティチームが個人用AIエージェントの不正な使用を防ぐことを試みる年になることが予想できます。」

モデルメモリーの中毒

短期および長期のコンテキストを提供するために、AIエージェントはより永続的なメモリーに依存し始めており、悪意のあるメモリーの植え込みを伴う悪用のドアを開いています。

攻撃者がエージェントのメモリーに悪意のある、または偽の情報を注入すると、その破損したコンテキストはエージェントが行うすべての将来の決定に影響を与えます。

たとえば、セキュリティ研究者Johann Rehbergerは、2025年9月にChatGPTに偽のメモリーを植え付ける方法を示しました

「彼[Rehberger]は、埋め込まれた隠された指示を含む悪意のある画像を使用して、モデルの長期メモリーに捏造されたデータを注入しました」と、MicrosoftのセキュリティテックリードであるSiri Varma Vegiraじは述べています。「怖い部分は、メモリーが中毒されたら、セッション全体に渡って永続化され、攻撃者が制御するサーバーにユーザーデータを継続的に流出させたことです。」

AI基盤のハッキング

過去1年間、攻撃者は生成AIの使用からそれを可能にするインフラストラクチャのターゲティングにシフトしました。

この攻撃ベクトルは、Model Context Protocolサーバーのサプライチェーン中毒で例証されており、危険にさらされた依存関係または修正されたコードが企業環境に脆弱性を導入しています。

例えば、2025年初頭に発見された偽造「Postmark MCP Server」は、攻撃者が制御するドメインに対して、内部ドキュメント、請求書、および認証情報を含むすべての処理されたメールを静かにBCCしました。

SurePath AIのCEOであるCasey Bleeker氏によると、多くの他の悪意のあるMCPサーバーは野生環境で既に特定されており、多くは検出なしに情報を流出させるように設計されています。

「私たちは、MCP固有のリスクのいくつかのカテゴリーを追跡しています:ツール中毒攻撃。敵がエージェントがそれらを呼び出すときに実行するAIツール説明に悪意のある指示を注入する場合。サプライチェーン侵害、信頼できるMCPサーバーまたは依存関係が承認後に悪意を持って動作するように更新される場合。およびクロスツールデータ流出。エージェントワークフロー内の危険にさらされたコンポーネントが、正当なAIアクティビティのように見えるもので機密データを静かに吸い上げる場所」と、Bleekerは説明しています。

現実確認

AI技術は強力ですが、彼らには限界があると、複数の専門家がCSOに述べています。

ForescoutのセキュリティインテリジェンスのVPであるRik Fergusonは、サイバー犯罪者は脆弱性悪用などのより複雑な作業ではなく、反復的なタスクを自動化するためにAIに大きく依存していると述べています。

「最も信頼できる犯罪用途[AI]は、フィッシングと詐称、影響と範囲拡大、脆弱性の分類とコンテキスト化、ボイラープレートコンポーネントの生成など、言語が多く、ワークフロー負荷の多いタスクで残ります。むしろ、新しい脆弱性をエンドツーエンドで確実に発見および悪用することではなく」と、Fergusonは述べています。

過去12ヶ月間、管理検出および応答企業Huntressは、スクリプト開発からブラウザ拡張機能、場合によってはフィッシング誘導まで、従来のトレードクラフトを生成および自動化するためにAIを適用している脅威アクターを追跡しています。

「このような『vibe coded』スクリプトが複数の場合に実行され、目標を達成することに失敗するのも見てきました」と、Huntressの主要な戦術的対応アナリストであるAnton Ovrutskyは、CSOに述べています。

そして、AIが確実に脅威アクターに強力なツールを与えているが、少なくとも今日のところ、新しい戦術またはエクスプロイトクラスを生み出すことに失敗していると、Ovrutskyによると。

「脅威アクターは確かに洗練された認証情報盗難スクリプトを迅速にプロトタイプ化できますが、基本的な『物理学の法則』はまだ存在しています。脅威アクターは、まず第一にそのようなスクリプトを実行する立場にある必要があります」と、Ovrutskyは述べています。「私たちはまだ、AIの使用のみによって有効にされたエクスプロイトパスを観察してはいません。」

対策

総じて、生成AIツールの悪用は、技能の低いサイバー犯罪者が不正な生活を得られやすくしています。攻撃ベクトルを防御することは、セキュリティプロフェッショナルが人工知能の力を攻撃者よりも効果的に活用することに課題を与えます。

「AI技術の犯罪的悪用は、これらの脅威をテスト、検出、および対応する必要性を推進しており、その際にAIはサイバー犯罪活動と戦うためにも活用されています」と、MindgardのGarraghanは述べています。

ブログ投稿で、DispersiveのテクニカルマーケティングのVPであるLawrence Pingreeは、彼が攻撃者と防御者の間の「AI ARMS(自動化、偵察、および情報操作)レース」と説明する何かを勝つためにセキュリティプロフェッショナルが取ることができる先制的なサイバー防御の概要を示しています。

「従来の検出および応答メカニズムに依存することは、もはや十分ではありません」と、Pingreeは警告しています。

従業員教育と認識プログラムと共に、企業はリアルタイムで生成AIベースの脅威を検出して無効化するためにAIを使用する必要があります。

ForescoutのFergusonは、CISOは企業AIを他の高価値SaaS プラットフォームのように扱う必要があると述べています。

「アイデンティティと条件付きアクセスを強化し、権限を最小化し、キーをロックダウンし、異常なAI/APIの使用と支出を監視します」と、Fergusonはアドバイスしています。

翻訳元: https://www.csoonline.com/article/3819176/top-5-ways-attackers-use-generative-ai-to-exploit-your-systems.html

ソース: csoonline.com