GTIG AI脅威トラッカー:敵対的利用のための蒸留、実験、および(継続的な)AIの統合

図1:モデル抽出攻撃の図解

表1:キャンペーン分析の結果

モデル抽出および蒸留攻撃のリスク

モデル抽出および蒸留攻撃は、AIサービスの機密性、可用性、または完全性を脅かさないため、通常、平均的なユーザーにとってリスクを表しません。代わりに、リスクはモデル開発者とサービスプロバイダーに集中しています。

AIモデルをサービスとして提供する組織は、抽出または蒸留パターンのAPIアクセスを監視する必要があります。たとえば、金融データ分析用に調整されたカスタムモデルは、派生製品を作成しようとする商業競合企業によってターゲットにされる可能性があり、コーディングモデルは、ガードレールのない環境で能力を複製しようとする敵対者によってターゲットにされる可能性があります。

AI強化敵対者活動のハイライト

過去1年間の一貫した調査結果は、政府支援の攻撃者が、コーディングとスクリプティングタスク、潜在的なターゲットに関する情報収集、公知の脆弱性の調査、および侵害後の活動の実現のためにGeminiを悪用していることです。2025年第4四半期、GTIGは、これらの取り組みが実世界のオペレーションにどのように変換されるかについての理解を向上させました。Geminiの脅威アクターによる悪用と野生での活動との直接的および間接的なリンクを確認したためです。

偵察とターゲット開発のサポート 

APTアクターは、初期侵害を促進するための偵察とターゲット開発に焦点を当てるなど、攻撃ライフサイクルのいくつかのフェーズをサポートするためにGeminiを使用しました。この活動は、LLMの速度と正確性が、被害者プロファイリングに伝統的に必要とされる手作業をバイパスできる、AI強化フィッシング実現へのシフトを強調しています。フィッシング誘引のコンテンツ生成を超えて、LLMは攻撃の偵察フェーズ中に戦略的な力の倍増器として機能し、脅威アクターがオープンソースインテリジェンス(OSINT)を迅速に統合して高価値ターゲットをプロファイリングし、防衛セクター内の主要意思決定者を特定し、組織階層をマッピングできるようにします。これらのツールをワークフローに統合することにより、脅威アクターは、初期偵察からアクティブターゲティングへより速いペースとより広い規模で移行できます。  

• UNC6418、属性不明の脅威アクターは、Geminiを悪用して標的を絞った情報収集を実施し、特に機密性の高いアカウント資格情報と電子メールアドレスを探しました。その直後、GTIGは脅威アクターがウクライナと防衛セクターに焦点を当てたフィッシングキャンペーンでこれらのアカウントすべてをターゲットにしたことを観測しました。Googleは、この活動に関連する資産を無効にすることにより、このアクターに対して措置を講じました。

• Temp.HEX、PRC拠点の脅威アクターは、Geminiおよび他のAIツールを悪用して、パキスタンのターゲットを含む特定の個人に関する詳細な情報を編集し、さまざまな国の分離主義組織に関する運用および構造データを収集しました。この調査の直接的な結果としてターゲティングは確認されませんでしたが、脅威アクターはその後すぐにパキスタンの類似のターゲットをキャンペーンに含めました。Googleは、この活動に関連する資産を無効にすることにより、このアクターに対して措置を講じました。

フィッシング強化

防御側とターゲットは、フィッシングの試みを特定するために、文法の悪さ、ぎこちない構文、または文化的コンテキストの欠如などの指標に長く依存してきました。ますます、脅威アクターは現在、LLMを活用して、ターゲット組織のプロフェッショナルなトーンまたは地域言語を反映できる超パーソナライズされた、文化的にニュアンスのある誘引を生成しています。 

この能力は、単純な電子メール生成を超えて「ラポール構築フィッシング」に拡張され、悪意のあるペイロードが配信される前に被害者との信頼を構築するために、モデルが複数ターンの信頼できる会話を維持するために使用されます。非ネイティブスピーカーの参入障壁を下げ、高品質コンテンツの作成を自動化することにより、敵対者はこれらの「兆候」をほぼ消去し、ソーシャルエンジニアリングの取り組みの有効性を向上させることができます。

• イラン政府支援アクターAPT42は、Geminiを含む生成AIモデルを活用して、偵察と標的を絞ったソーシャルエンジニアリングを大幅に強化しました。APT42はGeminiを悪用して特定のエンティティの公式電子メールを検索し、アプローチのための信頼できる口実を確立するために潜在的なビジネスパートナーに関する偵察を実施します。これには、特定のエンティティの公式電子メールアドレスを列挙しようとする試みと、アプローチのための信頼できる口実を確立するための調査が含まれます。ターゲットの経歴をGeminiに提供することにより、APT42はGeminiを悪用してターゲットからのエンゲージメントを得るための優れたペルソナまたはシナリオを作成しました。GTIGが追跡する多くの脅威アクターと同様に、APT42はGeminiを使用して地域言語との間で翻訳し、非ネイティブ言語のフレーズと参照をよりよく理解します。Googleは、この活動に関連する資産を無効にすることにより、このアクターに対して措置を講じました。

• 北朝鮮政府支援アクターUNC2970は、キャンペーンで防衛ターゲティングと企業リクルーターのなりすましに一貫して焦点を当ててきました。グループはGeminiを使用してOSINTを統合し、キャンペーン計画と偵察をサポートするために高価値ターゲットをプロファイリングしました。このアクターのターゲットプロファイリングには、主要なサイバーセキュリティおよび防衛企業に関する情報の検索と、特定の技術職の役割と給与情報のマッピングが含まれていました。この活動は、アクターが初期侵害のために、カスタマイズされた高忠実度のフィッシングペルソナを作成し、潜在的なソフトターゲットを特定するために必要なコンポーネントを収集するため、日常的な専門的調査と悪意のある偵察の区別を曖昧にします。Googleは、この活動に関連する資産を無効にすることにより、このアクターに対して措置を講じました。 

脅威アクターはコーディングとツール開発をサポートするためにAIを使用し続けています 

国家支援アクターは、偵察からフィッシング誘引の作成、コマンドアンドコントロール(C2またはC&C)開発、データ流出まで、オペレーションのすべての段階を強化するためにGeminiを悪用し続けています。また、専門家のサイバーセキュリティペルソナでGeminiにプロンプトを送信したり、AI統合コード監査能力を作成しようとするなど、キャンペーンをサポートするためにエージェント型AI能力の使用に関心を示す活動も観測しました。

図3:APT31プロンプティングのサンプル

UNC795、PRC拠点のアクターは、攻撃ライフサイクル全体を通じてGeminiに大きく依存しました。GTIGは、グループがコードのトラブルシューティング、調査の実施、侵入活動のための技術能力の生成のために、週に複数日Geminiと一貫してエンゲージメントしていることを観測しました。脅威アクターの活動は安全システムをトリガーし、Geminiはポリシー違反能力を作成しようとするアクターの試みに応じませんでした。 

グループはまた、Geminiを使用してAI統合コード監査能力を作成し、おそらく侵入活動をサポートするためのエージェント型AIユーティリティへの関心を示しました。Googleは、この活動に関連する資産を無効にすることにより、このアクターに対して措置を講じました。

情報操作をサポートするためにGeminiを使用

GTIGは、IOアクターが生産性向上(調査、コンテンツ作成、ローカライゼーションなど)のためにGeminiを使用し続けていることを観測しており、これは以前のGemini使用と一致しています。脅威アクターが記事の作成、資産の生成、コーディングの支援を求めてツールに要請していることを示すGemini活動を特定しました。ただし、この生成されたコンテンツを野生で特定していません。これらの試みのいずれも、IOキャンペーンの画期的な能力を生み出していません。中国、イラン、ロシア、サウジアラビアの脅威アクターは、デジタルプラットフォームと印刷ポスターなどの物理メディアの両方で特定のアイデアを進めるために、政治風刺とプロパガンダを制作しています。

AI対応マルウェアの継続的実験 

GTIGは、2025年後半に脅威アクターがマルウェアファミリーに新規能力を実装するためにAIで実験を続けていることを観測し続けました。実験的なAI対応技術が脅威環境に革命的なパラダイムシフトをもたらすことはまだ観測していませんが、これらの概念実証マルウェアファミリーは、脅威アクターが将来のオペレーションの一部としてAI技術をどのように実装できるかの早期指標です。この探索的テストは今後増加すると予想しています。

新規能力の継続的実験に加えて、2025年後半を通じて、GTIGは脅威アクターがCOINBAITフィッシングキットなどの侵入オペレーションに従来のAI生成能力を統合していることを観測しました。脅威アクターは、マルウェア作成のサポート、既存マルウェアの改善、脆弱性の調査、偵察の実施、誘引コンテンツの生成など、攻撃ライフサイクル全体にAIを組み込み続けると予想しています。

機能のアウトソーシング:HONESTCUE

2025年9月、GTIGは、HONESTCUEとして追跡しているマルウェアサンプルが、GeminiのAPIを活用して機能生成をアウトソースしていることを観測しました。HONESTCUEマルウェアサンプルの調査は、敵対者のAI組み込みが、従来のネットワークベース検出と静的分析を弱体化させることにより難読化への多層アプローチをサポートするように設計されている可能性が高いことを示しています。 

HONESTCUEは、Google Gemini APIを介してプロンプトを送信し、C#ソースコードをレスポンスとして受信するダウンローダーおよびランチャーフレームワークです。特に、HONESTCUEは、以前に観測したPROMPTFLUXの「ジャストインタイム」(JIT)技術と類似の能力を共有しています。ただし、LLMを活用して自己更新する代わりに、HONESTCUEはGemini APIを呼び出して、別のマルウェアをダウンロードして実行する「ステージ2」機能を動作させるコードを生成します。さらに、HONESTCUEのファイルレス第2段階は、Gemini APIから受信したC#ソースコードを取得し、正当な.NET CSharpCodeProviderフレームワークを使用してペイロードをメモリ内で直接コンパイルおよび実行します。このアプローチでは、ペイロードアーティファクトがディスクに残りません。また、脅威アクターがDiscord CDNなどのコンテンツ配信ネットワーク(CDN)を使用して最終ペイロードをホストしていることも観測しました。

このマルウェアを既存の脅威活動クラスターに関連付けていませんが、このマルウェアは、ある程度の技術的専門知識を持つ開発者によって開発されていると疑っています。具体的には、多数のサンプルにわたる小さな反復変更と、おそらくアンチウイルス能力をテストする単一のVirusTotal提出者は、単一のアクターまたは小グループを示唆しています。さらに、Discordを使用してペイロード配信をテストし、Discord Botを提出することは、限定的な技術的洗練度のアクターを示しています。アーキテクチャの一貫性と明瞭性、および調査したマルウェアサンプルの反復的進行は、これが実装の概念実証段階にある可能性が高い単一のアクターまたは小グループであることを強く示唆しています。 

HONESTCUEのハードコードされたプロンプトの使用は、それ自体では悪意のあるものではなく、マルウェアに関連するコンテキストがない場合、プロンプトが「悪意がある」と見なされる可能性は低いです。マルウェア機能の一面をアウトソースし、LLMを活用して、より大きな悪意のある構成に適合する一見無害なコードを開発することは、脅威アクターがセキュリティガードレールをバイパスしながらキャンペーンを強化するためにAIアプリケーションをどのように採用する可能性が高いかを示しています。

図9:ハードコードされたプロンプトの例

図10:ハードコードされたプロンプトの例

図11:ハードコードされたプロンプトの例

AI生成フィッシングキット:COINBAIT

2025年11月、GTIGは、AIコード生成ツールによって構築が加速された可能性が高いフィッシングキットであるCOINBAITを特定しました。これは、資格情報の収集のために主要な暗号通貨取引所を装っています。直接的なインフラストラクチャの重複と属性ドメインの使用に基づいて、この活動の一部がUNC5356と重複していると高い信頼度で評価しています。UNC5356は、金融機関のクライアント、暗号通貨関連企業、およびその他のさまざまな人気のあるビジネスやサービスをターゲットにするために、SMSおよび電話ベースのフィッシングキャンペーンを利用する金銭的動機のある脅威クラスターです。 

マルウェアサンプルの調査は、lovableSupabaseクライアントとlovable.appの画像ホスティングの使用に基づいて、キットがAI駆動プラットフォームLovable AIを使用して構築されたことを示しています。

• 正当で信頼されたサービスでコンテンツをホストすることにより、アクターは、疑わしいプライマリドメインをブロックするネットワークセキュリティフィルターをバイパスする可能性を高めます。

• フィッシングキットは、複雑な状態管理とルーティングを備えた完全なReact Single-Page Application(SPA)でラップされていました。この複雑さは、Lovable AIなどのフレームワークを使用して、高レベルプロンプト(例:「ウォレット回復用のCoinbaseスタイルUIを作成」)から生成されたコードを示しています。 

• LLM使用のもう1つの主要な指標は、マルウェアのソースコード内に直接存在する冗長な開発者指向のログメッセージです。これらのメッセージは、一貫して「? Analytics:」というプレフィックスが付けられており、キットの悪意のある追跡とデータ流出活動のリアルタイムトレースを提供し、このコードファミリーの固有のフィンガープリントとして機能します。

表2:COINBAITソースコードから抽出されたconsole.logメッセージの例

また、グループがオペレーションのためにインフラストラクチャと回避戦術を採用していることも観測しました。これには、攻撃者のIPアドレスを隠蔽するためにCloudflareを介したフィッシングドメインのプロキシ化、およびLovable AIから直接フィッシングページの画像アセットをホットリンクすることが含まれます。 

COINBAITフィッシングキットの導入は、UNC5356のツールの進化を表し、最新のWebフレームワークと正当なクラウドサービスへのシフトを示し、ソーシャルエンジニアリングキャンペーンの洗練度とスケーラビリティを向上させます。ただし、COINBAITが複数の異なる脅威アクターに提供されるサービスである可能性を示唆する証拠が少なくともいくつかあります。

サイバー犯罪によるAIツールの使用

業界全体で既存のAI対応ツールとサービスを悪用することに加えて、不正活動を可能にするために特別に構築されたAIツールとサービスへの関心と市場が高まっています。地下フォーラムを介して提供されるツールとサービスは、限られた技術的能力と財源にもかかわらず、低レベルのアクターが侵入の頻度、範囲、有効性、複雑さを強化できるようにします。金銭的動機のある脅威アクターは実験を続けていますが、AIツールの開発で画期的な進歩をまだ遂げていません。 

「ClickFix」キャンペーンでソーシャルエンジニアリングのためにAIサービスを活用する脅威アクター

新しいマルウェア技術ではありませんが、GTIGは、脅威アクターがマルウェアを配信しようとするために、生成AIサービスに対する公衆の信頼を悪用した事例を特定しました。GTIGは、Geminiを含む生成AIサービスの公開共有機能を活用して、欺瞞的なソーシャルエンジニアリングコンテンツをホストする新しいキャンペーンを特定しました。この活動は、2025年12月初旬に最初に観測され、確立された「ClickFix」技術を介してユーザーをだましてマルウェアをインストールさせようとします。このClickFix技術は、悪意のあるコマンドをコマンド端末にコピーアンドペーストするようユーザーをソーシャルエンジニアリングするために使用されます。

脅威アクターは、macOSでさまざまなタスクを実行する方法に関する悪意のある指示をステージングするために、安全ガードレールをバイパスすることができ、最終的にATOMICのバリアントを配布しました。ATOMICは、macOS環境をターゲットにし、ブラウザデータ、暗号通貨ウォレット、システム情報、およびデスクトップとドキュメントフォルダ内のファイルを収集する能力を持つ情報スティーラーです。このキャンペーンの背後にある脅威アクターは、ChatGPT、CoPilot、DeepSeek、Gemini、Grokを含む、悪意のある指示をホストするために幅広いAIチャットプラットフォームを使用しました。

キャンペーンの目的は、主にWindowsおよびmacOSシステムのユーザーを誘引して、手動で悪意のあるコマンドを実行させることです。攻撃チェーンは次のように動作します:

• 脅威アクターは、最初に、被害者がコピーアンドペーストした場合にマルウェアに感染するコマンドラインを作成します。

• 次に、脅威アクターはAIを操作して、一般的なコンピュータ問題(例:ディスクスペースのクリアまたはソフトウェアのインストール)を修正するための現実的な指示を作成しますが、ソリューションとして悪意のあるコマンドラインをAIに提供します。

• Geminiおよびその他のAIツールにより、ユーザーは特定のチャットトランスクリプトへの共有可能なリンクを作成できるため、特定のAI応答を他のユーザーと共有できます。攻撃者は現在、AIサービスのインフラストラクチャでホストされている悪意のあるClickFixランディングページへのリンクを持っています。

• 攻撃者は悪意のある広告を購入するか、疑いを持たない被害者を公開共有されたチャットトランスクリプトに誘導します。

• 被害者はAIチャットトランスクリプトに騙され、指示に従って、一見正当なコマンドラインスクリプトをコピーし、システムの端末に直接貼り付けます。このコマンドはマルウェアをダウンロードしてインストールします。アクションがユーザー主導であり、組み込みのシステムコマンドを使用するため、セキュリティソフトウェアが検出してブロックすることが難しい場合があります。

WindowsとMacOS用にさまざまな誘引が生成され、ペイロード配布のための悪意のある広告技術の使用は、ターゲティングがかなり広範で日和見的である可能性が高いことを示唆しています。 

このアプローチにより、脅威アクターは、信頼されたドメインを活用して指示の初期段階をホストし、ソーシャルエンジニアリングに依存して、実行の最終的な非常に破壊的なステップを実行できます。広く使用されているアプローチですが、これは、AIサービスの公開共有機能が信頼されたドメインとして悪用されたのをGTIGが初めて観測したものです。

地下マーケットプレイスからの観測:脅威アクターによるAI APIキーの悪用

正当なAIサービスは脅威アクターにとって人気のあるツールのままですが、悪意のある活動を特にサポートするように設計されたAIサービスの市場は持続しています。英語およびロシア語の地下フォーラムの現在の観測は、AI対応ツールとサービスへの持続的な欲求があることを示しており、これはこれらのプラットフォームの以前の評価と一致しています。 

ただし、脅威アクターはカスタムモデルの開発に苦労しており、代わりにGeminiなどの成熟したモデルに依存しています。たとえば、「Xanthorox」は、マルウェアの自律的コード生成やフィッシングキャンペーンの開発など、サイバー攻撃目的のカスタムAIとして宣伝されている地下ツールキットです。モデルは、マルウェア、ランサムウェア、フィッシングコンテンツを自律的に生成するように設計された「オーダーメイドのプライバシー保護自己ホスト型AI」として宣伝されました。ただし、私たちの調査により、XanthoroxはカスタムAIではなく、実際にはGeminiを含むいくつかのサードパーティおよび商用AI製品によって駆動されていることが明らかになりました。

このセットアップは、主要な悪用ベクトルを活用しています:複数のオープンソースAI製品(具体的にはCrush、Hexstrike AI、LibreChat-AI、Open WebUI)の統合で、Model Context Protocol(MCP)サーバーを介して日和見的に活用され、商用モデル上にエージェント型AIサービスを構築します。

スケーラブルな方法で悪意のある操作のためにLLMサービスを悪用するために、脅威アクターにはAPIキーとLLM統合を可能にするリソースが必要です。これにより、実質的なクラウドリソースとAIリソースを持つ組織のハイジャックリスクが生じます。 

さらに、脆弱なオープンソースAIツールは、ユーザーからAI APIキーを盗むために一般的に悪用されており、不正なAPIの再販売とキーのハイジャックのための繁栄するブラックマーケットを促進し、広範な悪用を可能にし、影響を受けたユーザーにコストを発生させています。たとえば、国レベルの検閲に直面しているユーザーに人気のあるOne APIおよびNew APIプラットフォームは、デフォルトの資格情報、安全でない認証、レート制限の欠如、XSS欠陥、安全でないAPIエンドポイントによるAPIキーの露出などの公知の脆弱性を悪用して、攻撃者によってAPIキーのために定期的に収集されています。

AIを安全かつ責任を持って構築 

私たちは、AIへのアプローチが大胆かつ責任あるものでなければならないと信じています。これは、社会への積極的な利益を最大化しながら、課題に対処する方法でAIを開発することを意味します。私たちのAI原則に導かれ、Googleは堅牢なセキュリティ対策と強力な安全ガードレールを備えたAIシステムを設計し、モデルのセキュリティと安全性を継続的にテストして改善します。 

私たちのポリシーガイドラインと禁止使用ポリシーは、Googleの生成AIツールの安全性と責任ある使用を優先しています。Googleのポリシー開発プロセスには、新たなトレンドの特定、エンドツーエンドの思考、安全性のための設計が含まれます。製品の保護機能を継続的に強化して、世界中のユーザーに拡張された保護を提供します。  

Googleでは、脅威インテリジェンスを活用して敵対者の作戦を中断します。政府支援の脅威アクターによる悪意のあるサイバー活動を含む、製品、サービス、ユーザー、およびプラットフォームの悪用を調査し、必要に応じて法執行機関と協力します。さらに、悪意のある活動への対抗から得られた学習は、AIモデルの安全性とセキュリティを向上させるために製品開発にフィードバックされます。分類器とモデルレベルの両方で行うことができるこれらの変更は、防御の機敏性を維持し、さらなる悪用を防ぐために不可欠です。

Google DeepMindはまた、生成AIの脅威モデルを開発して潜在的な脆弱性を特定し、悪用に対処するための新しい評価とトレーニング技術を作成します。この調査と併せて、Google DeepMindは、間接的プロンプトインジェクション攻撃に対するAI脆弱性を自動的にレッドチームできる堅牢な評価フレームワークを含む、測定および監視ツールと併せて、AIシステムに防御を積極的に展開している方法を共有しました。 

AI開発およびTrust & Safetyチームは、脅威インテリジェンス、セキュリティ、およびモデリングチームと緊密に連携して、悪用を阻止します。

特に生成AIのAIの潜在能力は計り知れません。イノベーションが前進するにつれ、業界は責任を持ってAIを構築および展開するためのセキュリティ標準を必要としています。そのため、セキュアAIフレームワーク(SAIF)、AIシステムを保護するための概念フレームワークを導入しました。責任を持ってAIモデルを設計、構築、評価するためのリソースとガイダンスを含む、開発者向けの包括的なツールキットを共有しました。また、保護機能の実装、モデル安全性の評価、AIシステムをテストおよび保護するためのレッドチーミング、および包括的なプロンプトインジェクションアプローチのベストプラクティスを共有しました。

業界パートナーとの緊密な協力は、すべてのユーザーにとってより強力な保護を構築するために不可欠です。そのため、多数の研究者との強力な協力パートナーシップを持つことができて幸運であり、レッドチームを支援し、防御を洗練するためのコミュニティのこれらの研究者およびその他の人々の仕事に感謝しています。

Googleはまた、AI研究に継続的に投資し、AIが責任を持って構築されることを確実にし、リスクを自動的に見つけるためにその潜在能力を活用します。昨年、Google DeepMindとGoogle Project Zeroによって開発されたAIエージェントであるBig Sleepを導入しました。これは、ソフトウェアで未知のセキュリティ脆弱性を積極的に検索して発見します。Big Sleepはその後、最初の実世界のセキュリティ脆弱性を発見し、脅威アクターによって差し迫って使用される予定だった脆弱性を発見するのを支援しました。GTIGは事前にそれを遮断することができました。また、脆弱性を見つけるだけでなく、パッチも適用するためにAIで実験しています。最近、Geminiモデルの高度な推論能力を使用して重要なコード脆弱性を自動的に修正する実験的なAI駆動エージェントであるCodeMenderを導入しました。 

侵害の指標(IOC)

このブログ投稿で概説された活動のハンティングと特定において、より広いコミュニティを支援するために、登録ユーザー向けの無料のGTIコレクションにIOCを含めました。

著者について

Google Threat Intelligence Groupは、Alphabet、ユーザー、顧客に対するサイバー脅威のクラス全体の特定、分析、緩和、および排除に焦点を当てています。私たちの仕事には、政府支援のアクター、標的を絞ったゼロデイエクスプロイト、協調的な情報操作(IO)、および深刻なサイバー犯罪ネットワークからの脅威への対抗が含まれます。私たちは、Googleの防御を改善し、ユーザーと顧客を保護するために、インテリジェンスを適用します。