エグゼクティブサマリー
より広い脅威情勢の最近の分析に基づいて、Google脅威インテリジェンスグループ(GTIG)は、過去1年以内に発生した転換点を特定しました:対抗者は人工知能(AI)を生産性向上のためだけに活用するのではなく、アクティブな作戦で革新的なAI対応マルウェアを展開しています。これは、実行中にダイナミックに動作を変更するツールを含む、AI悪用の新しい作戦段階を示しています。
本レポートは、2025年1月の分析「生成AIの敵対的悪用」の更新版であり、政府支援の脅威アクターとサイバー犯罪者が攻撃ライフサイクル全体を通じて業界全体でAIを統合・実験する方法について詳述しています。本レポートの知見は、より広い脅威情勢に基づいています。
Googleでは、AIを責任を持って開発することに取り組んでおり、不正な行為者に関連するプロジェクトとアカウントを無効にすることで悪意のあるアクティビティを中断させるための積極的な措置を講じており、同時にモデルの悪用への耐性を高めるために継続的に改善しています。また、ディフェンダーに業界のベストプラクティスをプロアクティブに共有し、エコシステム全体でより強力な保護を実現しています。本レポート全体を通じて、悪意のあるアクティビティを阻止するために講じた措置について記載しており、資産の無効化や分類器とモデルの強化に関するインテリジェンスの適用を含めて、将来的な悪用から保護しています。Geminiを保護・防御する方法に関する詳細については、このホワイトペーパーを参照してください。「Geminiのセキュリティセーフガードの向上」

主要な知見
-
マルウェアにおける「ジャストインタイム」AI使用の初例:初めて、GTIGは実行時に大規模言語モデル(LLM)を使用するPROMPTFLUXやPROMPTSTEALなどのマルウェアファミリーを特定しました。これらのツールは悪意のあるスクリプトを動的に生成し、検出回避のために独自のコードを難読化し、マルウェアにハードコーディングするのではなく、必要に応じて悪意のある機能を作成するためにAIモデルを活用しています。まだ初期段階ですが、これはより自律的で適応性の高いマルウェアへの大きな一歩を表しています。
-
セーフガードをバイパスするための「ソーシャルエンジニアリング」:脅威アクターはAIセーフティガードラインをバイパスするために、プロンプト内でソーシャルエンジニアリング的な名目を採用しています。「キャプチャ・ザ・フラッグ」競技会の学生、またはサイバーセキュリティ研究者として自分たちを装うアクターを観察し、Geminiにそれ以外の方法ではブロックされる情報を提供するよう説得し、ツール開発を可能にしています。
-
AIツールのサイバー犯罪マーケットプレイスの成熟:違法なAIツールの地下マーケットプレイスは2025年に成熟しました。フィッシング、マルウェア開発、脆弱性研究をサポートするように設計された多機能ツールの複数のオファリングを特定し、低度な洗練度のアクターへの参入障壁を低下させています。
-
攻撃ライフサイクル全体の継続的な拡張:北朝鮮、イラン、中華人民共和国(PRC)を含む国家支援のアクターは、引き続きGeminiを悪用して、偵察やフィッシング囮の作成からコマンド・アンド・コントロール(C2)開発やデータ流出まで、作戦のすべての段階を強化しています。
脅威アクターが革新的なAI機能を開発中
2025年初めて、GTIGは実行中にAI機能を採用し、マルウェアの動作をダイナミックに変更するコードファミリーを発見しました。革新的なAI技術の最近の実装の中には実験的なものもありますが、脅威がどのように進化し、将来の侵入活動にAI機能をどのように統合できるかについての初期的な指標を提供しています。攻撃者は「ビブコーディング」と2024年に観察されたベースラインであるテクニカルサポート用のAIツール使用を超えて移行しています。このタイプのアクティビティを観察し始めたばかりですが、将来的には増加すると予想しています。
|
マルウェア |
機能 |
説明 |
ステータス |
|
リバースシェル |
PowerShellで書かれた公開されているリバースシェル。設定されたコマンド・アンド・コントロールサーバーへのリモート接続を確立し、侵害されたシステムで任意のコマンドを実行することを脅威アクターに可能にします。注目すべきは、このコードファミリーはLLM駆動セキュリティシステムによる検出または分析をバイパスするためのハードコーディングされたプロンプトを含んでいることです。 |
作戦で観察 |
|
|
ドロッパー |
VBScriptで書かれたドロッパー。アクティビティをマスクするために埋め込まれたデコイインストーラーをデコードして実行します。その主な機能は再生成であり、Google Gemini APIを使用することで達成されます。LLMにその独自のソースコードを書き直すようにプロンプトし、難読化された新しいバージョンをスタートアップフォルダーに保存して永続性を確立します。PROMPTFLUXはリムーバブルドライブとマップされたネットワーク共有にコピーして拡散を試みることもあります。 |
実験的 |
|
|
ランサムウェア |
Goで書かれたクロスプラットフォームランサムウェア。概念実証として特定されています。実行時に動的にLuaスクリプトを生成・実行するためにLLMを活用しています。その機能にはファイルシステムの偵察、データ流出、WindowsおよびLinuxシステムでのファイル暗号化が含まれます。 |
実験的 |
|
|
データマイナー |
PythonでこされたデータマイナーおよびPyInstallerでパッケージ化されています。Hugging Face APIを使用してLLM Qwen2.5-Coder-32B-InstructをクエリしてワンライナーのWindowsコマンドを生成するコンパイルされたスクリプトを含んでいます。コマンド生成に使用されるプロンプトは、特定フォルダ内のシステム情報とドキュメントを収集することを目的としていることを示しています。PROMPTSTEALはそのコマンドを実行し、収集されたデータを対抗者制御サーバーに送信します。 |
作戦で観察 |
|
|
認証情報スティーラー |
GitHubおよびNPMトークンをターゲットとするJavaScriptで書かれた認証情報スティーラー。キャプチャされた認証情報は、公開アクセス可能なGitHubリポジトリの作成を通じてエクスフィルトレーションされます。これらのトークンに加えて、QUIETVAULTはAIプロンプトとオンホストにインストールされたAI CLIツールを活用して、感染したシステム上の他の潜在的なシークレットを検索し、これらのファイルもGitHubにエクスフィルトレーションします。 |
作戦で観察 |
表1:2025年にGTIGが検出した革新的なAI機能を持つマルウェアの概要
検出回避のための自己修正にGeminiを使用する実験的マルウェア
2025年6月初旬、GTIGはPROMPTFLUXとして追跡されている実験的ドロッパーマルウェアを特定しました。これは脅威アクターがダイナミック難読化技術を開発するためにLLMを実験していることを示唆しています。PROMPTFLUXはVBScriptで書かれており、「ジャストインタイム」自己修正を促進するために、特定のVBScript難読化および回避技術をリクエストするためにGemini APIと対話し、おそらくシグネチャベースの検出を回避するものです。
PROMPTFLUXサンプルのさらなる検査は、このコードファミリーが開発またはテスト段階にあることを示唆しており、不完全な機能がコメントアウトされ、マルウェアのGemini APIコールを制限するメカニズムが存在するためです。このマルウェアの現在の状態は、被害者ネットワークまたはデバイスを侵害する能力を示していません。このアクティビティに関連する資産を無効化するための措置を講じています。
PROMPTFLUXの最も革新的なコンポーネントは、定期的にGeminiをクエリして、アンチウイルスソフトウェアを回避するための新しいコードを取得するように設計された「シンキングロボット」モジュールです。これはハードコーディングされたAPIキーを使用してGemini APIエンドポイントにPOSTリクエストを送信することで達成されます。アクターは「gemini-1.5-flash-latest」モデルの使用を指定しています。「-latest」タグはマルウェアが常に最新の安定版リリースを呼び出すようにして、モデルの廃止に対してツールをより回復力のあるものにします。LLMに送信されるプロンプトは高度に特定的で機械的に解析可能であり、アンチウイルス回避のためのVBScriptコードをリクエストし、LLMにコード自体のみを出力するよう指示しています。
自己修正機能(AttemptToUpdateSelf)はコメントアウトされていますが、その存在は「%TEMP%\thinking_robot_log.txt」へのAIレスポンスのアクティブなログと共に、作成者が時間をかけて進化できるメタモルフィックスクリプトを作成する目標を明らかに示しています。

図1:VBS「StartThinkingRobot」関数
LLM駆動のコード再生成を使用するPROMPTFLUXの複数の変異を特定しました。これには「シンキングロボット」機能を新しい「シンギング」機能に置き換えたものが含まれます。この関数はプロンプトを活用してGemini APIに毎時間マルウェアの全体的なソースコードを書き直すようにして検出を回避します。プロンプトはLLMに「VBScript難読化の専門家」として機能するよう指示し、元のデコイペイロード、ハードコーディングされたAPIキー、および完全な自己再生ロジックを埋め込むことで新しいバリアントが実行可能のままであることを保証し、その結果、突然変異の再帰的なサイクルを確立します。
特定の脅威アクターに起因しないものですが、PROMPTFLUXに関連するファイル名は、財政的動機のあるアクターに一般的に関連する動作を強調しています。具体的には、「crypted_ScreenRec_webinstall」を含む様々なソーシャルエンジニアリング囮は、広く地理的に業界に依存しない、幅広いユーザーをだましやすいアプローチを強調しています。
PROMPTFLUXはおそらく研究開発段階にあるものの、このタイプの難読化技術は、悪意のあるオペレーターが将来的にAIでキャンペーンを拡張する可能性を示す初期的で重大な指標です。
| 軽減策 |
| 本インテリジェンスはまた、このアクティビティが開発またはテスト段階にあり、野生の中で使用されているのではなく、現在被害者ネットワークまたはデバイスを侵害する能力を持っていないことを示しています。Googleはこのアクターに対してこのアクティビティに関連する資産を無効化することによって措置を講じています。Google DeepMindはまた、このような悪用に対する保護を強化するためにこれらの知見を使用し、Googleの分類器とモデル自体の両方を強化しています。これにより、モデルは今後これらのタイプの攻撃を支援することを拒否できるようになります。 |
ドキュメントとシステム情報を盗むコマンドを生成するLLM
6月、GTIGはウクライナに対して使用される新しいマルウェアの中で、ロシア政府支援のアクターAPT28(別名FROZENLAKE)を特定しました。PROMPTSTEALはデータマイナーであり、CERT-UAがLAMEHUGとして報告したものです。PROMPTSTEALはLLM(Qwen2.5-Coder-32B-Instruct)をクエリし、オープンソース機械学習(LLMを含む)のためのプラットフォームであるHugging FaceのAPIを通じて実行するコマンドを生成します。APT28によるPROMPTSTEALの使用は、ライブ作戦でマルウェアがLLMをクエリするという初めての観察です。
PROMPTSTEALは新しく、マルウェア内に直接ハードコーディングするのではなく、LLMがマルウェア実行のコマンドを生成するためにLLMを使用しています。「画像生成」プログラムを装い、ユーザーをプロンプトの一連にガイドして背景でHugging Face APIをクエリして実行するコマンドを生成しながら画像を生成します。
フォルダC:\Programdata\infoを作成し、
コンピュータ情報、ハードウェア情報、プロセスと
サービス情報、ネットワーク情報、ADドメイン情報を収集し、
1行で実行して各結果をテキストファイルに追加するコマンドのリストを作成し、
c:\Programdata\info\info.txtを作成します。コマンドのみを返し、マークダウンは不要です
図2:システム情報を収集するために使用されるPROMPTSTEALプロンプト
ユーザーのドキュメント、ダウンロード、デスクトップフォルダから
異なるオフィスおよびPDF/TXTドキュメントを
フォルダc:\Programdata\info\に再帰的にコピーするコマンドのリストを作成して
1行で実行するコマンドのリストを作成します。
コマンドのみを返し、マークダウンは不要です。
図3:ターゲットドキュメントを収集するために使用されるPROMPTSTEALプロンプト
PROMPTSTEALは盗まれたAPIトークンを使用してHugging Face APIをクエリする可能性があります。プロンプトは特にシステム情報を生成するためのコマンドと指定されたディレクトリにドキュメントをコピーするコマンドを出力するようLLMにリクエストしています。これらのコマンドからの出力は、エクスフィルトレーションされる前にPROMPTSTEALによってローカルで盲目的に実行されます。本分析は、難読化を追加し、C2メソッドを変更する新しいサンプルによってこのマルウェアの継続的な開発を示しています。

セーフガードをバイパスするためのソーシャルエンジニアリング
本AIの原則に従い、Googleはロバストセキュリティ対策と強力なセーフガードを備えたAIシステムを設計しています。脅威アクターはAIセーフティガードラインをバイパスするためにプロンプト内でソーシャルエンジニアリング的な名目を採用しています。「キャプチャ・ザ・フラッグ」競技会の参加者、またはサイバーセキュリティ研究者として自分たちを装うアクターを観察し、Geminiにそれ以外の方法ではブロックされる情報を提供するよう説得し、脆弱性悪用とツール開発を可能にしています。不正なアクティビティを中断させることに加えて、これらの知見を使用して分類器を継続的に改善し、製品のセキュリティを強化しています。
キャプチャ・ザ・フラッグ:CTFプレーヤーとして特定して大量悪用のための研究を有効にする
中国系の脅威アクターはGeminiを悪用して、囮コンテンツ作成、テクニカルインフラストラクチャー構築、データエクスフィルトレーションツール開発によるキャンペーンの効果を向上させました。
1つのインタラクションで、アクターはGeminiに侵害されたシステム上の脆弱性を特定するよう求めましたが、詳細な回答は安全でないというGeminiからセーフティ応答を受け取りました。アクターはその後、プロンプトを再フレーミングすることで、スキルとテクニックを向上させるためのゲーム化されたサイバーセキュリティ競技である「キャプチャ・ザ・フラッグ」(CTF)演習の参加者として自分たちを描写しました。CTF演習を支援するようプロンプトされた場合、Geminiはシステムを悪用するために悪用される可能性のある有用な情報を返しました。
アクターはこのインタラクションから学んだようであり、フィッシング、悪用、Webシェル開発をサポートするために、CTF名目を使用しました。アクターは「CTF問題に取り組んでいます」または「現在CTFに参加しており、別のチームの誰かが言ったのを見ました…」といったコメントで、特定のソフトウェアと電子メールサービスの悪用に関する多くのプロンプトを前置きしました。このアプローチは「CTFシナリオ」における次の悪用ステップのアドバイスを提供しました。
| 軽減策 |
| Geminiのセーフティおよびセキュリティガードラインはこのアクティビティ中にセーフティ応答を提供し、Googleはアクターに対してさらなるアクションを講じて今後のアクティビティを停止しました。また、これらのプロンプトのコンテキストをCTF対参加者(脅威アクター対比)で通常尋ねられた場合、無害な問い合わせであることに注目することも重要です。このAI使用の微妙さは、Gemini機能とユーザビリティとセキュリティの両方をバランスさせるために、引き続き分析する良性対悪用のAIの重要な差別化要因を強調しています。Googleはこのアクターに対してこのアクティビティに関連する資産を無効化し、Google DeepMindと知見を共有してこのような悪用に対する保護を強化しています。Googleの分類器とモデル自体の両方を強化し、これらのタイプの攻撃を支援することを拒否するのに役立っています。 |

図4:中国系の脅威アクターによるGemini悪用が攻撃ライフサイクル全体にマッピングされたもの
学生の誤り:カスタムツール開発がコアアタッカーインフラストラクチャーを暴露
イラン国家支援の脅威アクターTEMP.Zagros(別名MUDDYCOAST、Muddy Water)はGeminiを使用して、カスタムマルウェア開発をサポートするための研究を実施し、グループの機能の進化を示しています。彼らは引き続きフィッシングメールに依存し、しばしば被害者から侵害されたコーポレートメールアカウントを使用して攻撃に信頼性を与えていますが、公開ツールの使用から、Webシェルとサイバーセキュリティ Pythonベースのサーバーを含むカスタムマルウェアの開発にシフトしました。
カスタムマルウェア開発をサポートするための研究を実施するためにGeminiを使用している間、脅威アクターはセーフティ応答に遭遇しました。前述のCTF例と同様に、Temp.Zagros はセキュリティガードラインをバイパスするためにプロンプトで様々なもっともらしい口実を使用しました。これらには、大学の最終プロジェクトに取り組んでいる学生になりすまし、サイバーセキュリティに関する「論文」または「国際記事」を「執筆する」ことが含まれていました。
いくつかの観察された事例では、開発のためにLLMに依存している脅威アクターは重大な作戦セキュリティの失敗につながり、より大きな混乱を可能にしました。
脅威アクターはGeminiに提供されたスクリプトを支援するよう求めました。このスクリプトは暗号化されたリクエストをリッスンし、復号化し、ファイル転送とリモート実行に関連するコマンドを実行するように設計されていました。これにより、C2ドメインとスクリプトの暗号化キーを含む機密でハードコーディングされた情報がGeminiに明かされ、攻撃者のキャンペーンのより広い混乱を促進し、進化する作戦機能とインフラストラクチャーの直接的なウィンドウを提供しています。
| 軽減策 |
| これらのアクティビティはGeminiのセーフティ応答をトリガーし、Googleはこの脅威アクターの作戦セキュリティの失敗に基づいてキャンペーンを中断するための追加の広範なアクションを講じました。さらに、このアクティビティに関連する資産を無効化し、今後の悪用を防止するための更新を行うことで、Googleはこのアクターに対して措置を講じています。Google DeepMindはこれらの知見を使用して分類器とモデル自体の両方を強化し、これらのタイプの攻撃を支援することを拒否できるようにしました。 |
地下フォーラムで売却されている目的別ツールとサービス
業界全体の既存のAI対応ツールとサービスの悪用に加えて、違法なアクティビティを可能にするために目的別に構築されたAIツールとサービスの市場および関心の増加があります。地下フォーラム経由で提供されるツールとサービスは、低レベルのアクターが、技術的知見と財政的リソースが限られているにもかかわらず、侵入の頻度、範囲、有効性、複雑さを拡張することを可能にします。
進化する脅威を特定するために、GTIGはAIツールとサービスに関連する英語およびロシア語の地下フォーラムの投稿と広告、および技術に関する議論を追跡しています。多くの地下フォーラム広告は、正当なAIモデルの従来のマーケティング比較可能な言語を反映しており、ワークフローと労力の効率を改善する必要性を引用しながら、同時に見込み客に関心がある人へのガイダンスを提供しています。
|
広告されている機能 |
脅威アクターアプリケーション |
|
ディープフェイク/画像生成 |
フィッシング作戦用の囮コンテンツを作成するか、顧客確認(KYC)セキュリティ要件をバイパスする |
|
マルウェア生成 |
特定の使用ケース用のマルウェアを作成するか、既存のマルウェアを改善する |
|
フィッシングキットとフィッシングサポート |
魅力的な囮コンテンツを作成するか、フィッシングメールをより広い対象者に配信する |
|
リサーチと偵察 |
サイバーセキュリティの概念または一般的なトピックを迅速に研究・要約する |
|
テクニカルサポートとコード生成 |
スキルセットを拡張するか、ワークフローと効率を最適化するコードを生成する |
|
脆弱性悪用 |
公開されているリサーチ提供または既存の脆弱性の検索 |
表2:英語およびロシア語の地下フォーラムで広告されているAIツールおよびサービスに関連する機能
2025年、AI対応ツール作成用のサイバー犯罪マーケットプレイスが成熟し、GTIGは攻撃ライフサイクルのステージをサポートするように設計された多機能ツールの複数のオファリングを特定しました。注目すべき点として、地下フォーラムで広告されたほぼすべての著名なツールはフィッシングキャンペーンをサポートする能力について言及しました。
地下広告は、従来のツールと同様のテクニカル機能をサポートするためにAIツールとサービスによって宣伝されている多くの機能を示しています。違法なAIサービスの価格設定モデルは従来のツールのモデルを反映しており、多くの開発者は無料版のサービスに広告を注入し、サブスクリプション価格設定層を提供して、画像生成、APIアクセス、Discordアクセスなどのより多くのテクニカルな機能を追加しています。

図5:英語およびロシア語の地下フォーラムで広告されている著名なAIツールおよびサービスの機能
GTIGは、財政的動機のある脅威アクターおよび地下コミュニティで運営されている他のアクターがAIツールで作戦を継続して拡張すると評価しています。これらのアプリケーションのアクセシビリティの増加と地下フォーラムでのAI談話の増加を考えると、AIを活用した脅威アクティビティは脅威アクター間でますます一般的になるでしょう。
攻撃ライフサイクル全体の継続的な拡張
北朝鮮、イラン、中華人民共和国(PRC)の国家支援アクターは、偵察やフィッシング囮作成からC2開発やデータ流出まで、作戦のすべての段階を強化するためにGeminiを含む生成AIツールを悪用し続けています。これは2025年1月の本分析「生成AIの敵対的悪用」の中から1つのコア知見を拡張します。

無信頼の攻撃サーフェスの知識を拡張
GTIGは、侵入キャンペーンの複数のステージでGeminiを活用している疑われる中国系のアクターを観察しました。関心のあるターゲットの初期偵察の実施、ペイロード配信のためのフィッシング技術の研究、被害者のシステム内での横方向の動きに関連するGeminiからの援助の要請、一度被害者のシステム内でC2作戦のテクニカルサポートの追求、およびデータ流出の支援。
Windowsシステム上の侵入アクティビティをサポートすることに加えて、アクターはクラウドインフラストラクチャー、vSphere、およびKubernetesを含む、彼らが不慣れであった攻撃サーフェスの複数のステージの侵入キャンペーンをサポートするためにGeminiを悪用しました。
脅威アクターはEC2(Elastic Compute Cloud)インスタンスのAWSトークンへのアクセスを実証し、Geminiを使用して一時セッショントークンの使用方法をリサーチし、おそらく被害者環境からのより深いアクセスまたはデータ盗難を促進します。別の場合、アクターはGeminiを活用してKubernetesシステムの特定を支援し、コンテナーとポッドを列挙するためのコマンドを生成しました。また、MacOSでのホスト権限の取得に関する研究も観察し、そのシステムに対するフィッシング技術への脅威アクターの焦点を示しています。
| 軽減策 |
| これらのアクティビティは1月の知見と同様であり、悪いアクターが生産性対革新的な機能のためにGeminiを活用している方法を詳述しました。このアクターに対してこのアクターのアクティビティに関連する資産を無効化することで措置を講じ、Google DeepMindはこのような悪用に対する保護を強化するためにこれらの知見を利用しました。観察は分類器とモデル自体の両方を強化し、これらのタイプの攻撃を支援することを拒否できるようにするために使用されています。 |

図6:疑われる中国系の脅威アクターによるGemini悪用が攻撃ライフサイクル全体にマッピングされたもの

北朝鮮の脅威アクターが攻撃ライフサイクル全体でGeminiを悪用
朝鮮民主主義人民共和国(DPRK)に関連する脅威アクターは、暗号資産を標的にし、体制に財政的支援を提供する取り組みに合致して、攻撃ライフサイクルのステージ全体にわたって作戦をサポートするために生成AIツールを悪用し続けています。
特化したソーシャルエンジニアリング
最近の作戦では、UNC1069(別名MASAN)はGeminiを使用して暗号資産の概念をリサーチし、ユーザーの暗号資産ウォレットアプリケーションデータの位置に関連する研究と偵察を実施しました。この北朝鮮の脅威アクターはソーシャルエンジニアリング、特にコンピュータメンテナンスと認証情報収集に関連する言語を活用した暗号資産盗難キャンペーンを実施することで知られています。
脅威アクターはまた、囮マテリアルと暗号資産に関連するその他のメッセージングを生成し、悪意のあるアクティビティのためのソーシャルエンジニアリング作戦をサポートする可能性があります。これには、スペイン語の仕事関連の言い訳と会議を変更するリクエストの生成が含まれ、脅威アクターが言語流暢性の障壁を克服し、ターゲットの範囲と機能性を拡張する方法を示しています。
キャンペーンの後の段階をサポートするために、UNC1069は暗号資産を盗むコードを開発し、ソフトウェアアップデートと称して不正な指示を作成するようにGeminiを悪用しようとしました。ユーザーの認証情報を抽出するためにGeminiを悪用しました。このアカウントを無効化しました。
| 軽減策 |
| これらのアクティビティは1月の知見と同様であり、悪いアクターが生産性対革新的な機能のためにGeminiを活用している方法を詳述しました。このアクターに対してこのアクターのアクティビティに関連する資産を無効化することで措置を講じ、Google DeepMindはこのような悪用に対する保護を強化するためにこれらの知見を利用しました。観察は分類器とモデル自体の両方を強化し、これらのタイプの攻撃を支援することを拒否できるようにするために使用されています。 |
ディープフェイクの使用
UNC1069によるGeminiの悪用を超えて、GTIGは最近、暗号資産業界の個人になりすまし、BIGMACHO バックドアを被害者システムに配信するためのソーシャルエンジニアリング キャンペーンの一部として、ディープフェイク画像およびビデオ囮を活用しているグループを観察しました。キャンペーンは、ターゲットに悪意のある「Zoom SDK」リンクをダウンロードしてインストールするように促しました。

図7:北朝鮮の脅威アクターがGeminiを悪用して作戦をサポート
AIを使用した革新的な機能の開発を試みる
UNC4899(別名PUKCHONG)は、サプライチェーン侵害の使用で有名な北朝鮮の脅威アクターであり、コード開発、悪用の調査、ツーリング強化を含む様々な目的でGeminiを使用しました。脆弱性と悪用開発への調査は、グループがエッジデバイスとモダンブラウザーをターゲットにする機能を開発していることを示唆しています。脅威アクターのアカウントを無効化しました。

図8:UNC4899(別名PUKCHONG)のGemini悪用が攻撃ライフサイクル全体にマッピングされたもの

キャプチャ・ザ・データ:「データ処理エージェント」開発の試み
APT42によるGeminiの使用はイラン政府支援の攻撃者であり、グループの成功したフィッシングキャンペーンの作成への焦点を反映しています。最近のアクティビティでは、APT42はGeminiのテキスト生成および編集機能を使用して、著名なシンクタンクなどの信頼できる組織からの個人になりすまし、セキュリティテクノロジー、イベント招待状、地政学的な議論に関連する囮を使用してフィッシング キャンペーンのためのマテリアルを作成しました。APT42はまた、記事やメッセージを翻訳するために特化された語彙を含むGeminiを翻訳ツールとして使用し、一般化されたリサーチのために、およびイスラエルの防衛に関する継続的なリサーチのために使用しました。
APT42はまた「データ処理エージェント」を構築しようと試みました。Geminiを悪用してツールを開発・テストしました。エージェントは自然言語リクエストをSQLクエリに変換して、機密個人データから洞察を得ます。脅威アクターは、電話番号を所有者にリンクすること、個人の旅行パターンを追跡すること、または共有属性に基づいて人物のリストを生成することなど、複雑なクエリを実行するために、複数の異なるデータ型のスキーマをGeminiに提供しました。脅威アクターのアカウントを無効化しました。
| 軽減策 |
| これらのアクティビティは1月の知見と同様であり、悪いアクターが生産性対革新的な機能のためにGeminiを活用している方法を詳述しました。このアクターに対してこのアクターのアクティビティに関連する資産を無効化することで措置を講じ、Google DeepMindはこのような悪用に対する保護を強化するためにこれらの知見を利用しました。観察は分類器とモデル自体の両方を強化し、これらのタイプの攻撃を支援することを拒否できるようにするために使用されています。 |

図9:APT42がGeminiを悪用して作戦をサポート
コード開発:C2開発と難読化サポート
脅威アクターは、タクティクス、テクニック、プロセス(TTP)を拡張し、より高速に、より高い体積で移動するために、進化する生成AIツール適応し続けています。熟練したアクターにとって、生成AIツールは、Metasploitまたはコバルトストライクの使用と同様に有用なフレームワークを提供します。これらのツールはまた、低レベルの脅威アクターに、技術的知見または言語能力に関わらず、高度なツール作成を迅速に統合し、既存のテクニックを統合し、キャンペーンの有効性を改善する機会を与えます。
2025年8月全体を通じて、GTIGはPRC支援のAPT41に関連する脅威アクティビティを観察しました。コード開発支援のためにGeminiを活用していました。グループはモバイルおよびデスクトップデバイスのオペレーティングシステムの範囲をターゲットにする歴史を実証しており、作戦のためにソーシャルエンジニアリング侵害を採用しています。具体的には、グループは公開フォーラムを活用して、悪用をホストするインフラストラクチャーに被害者をおびき寄せ、悪意のあるモバイルアプリケーションのインストールを促しています。
キャンペーンをサポートするために、アクターはOSSTUNと呼ばれるアクターによるC2フレームワークを含む複数のツールのC++およびGolangoddコード用のテクニカルサポートを求めていました。グループはまた、2つの公開利用可能な難読化ライブラリーに関連するプロンプトでコード難読化の支援のためにGeminiをプロンプトすることも観察されました。

図10:APT41のGemini悪用が作戦をサポート
情報作戦とGemini
GTIGはIO(情報作戦)アクターがリサーチ、コンテンツ作成、および翻訳のためにGeminiを継続して使用することを観察しており、これは悪意のあるアクティビティをサポートするためのGeminiの以前の使用と一致しています。脅威アクターが記事の作成を支援するまたはワークフローの部分を自動化するためのツール作成を支援するためにツールを要求している証拠とともにGeminiアクティビティを特定しました。ただし、これらの生成記事を野生の中で特定したり、ツール作成を使用した自動化を活用した証拠を確認したりしていません。IO キャンペーンのための革新的な機能を作成しなかった。
| 軽減策 |
| 観察されたIOキャンペーンについて、自動化の成功の証拠や、新しく構築されたツール作成を活用したワークフロー自動化の証拠は観察されていません。これらのアクティビティは1月の知見と同様であり、悪いアクターが生産性対革新的な機能のためにGeminiを活用している方法を詳述しました。このアクターに対してこのアクターのアクティビティに関連する資産を無効化することで措置を講じ、Google DeepMindはこのような悪用に対する保護を強化するためにこれらの知見を利用しました。観察は分類器とモデル自体の両方を強化し、これらのタイプの攻撃を支援することを拒否できるようにするために使用されています。 |
AIを安全かつ責任を持って構築
私たちはAIへのアプローチが大胆で責任あるものでなければならないと信じています。これは、社会にプラスの利益をもたらす可能性を最大化しながら、課題に対処する方法でAIを開発することを意味しています。本AIの原則に従い、Googleはロバストセキュリティ対策と強力なセーフガードを備えたAIシステムを設計し、モデルのセキュリティと安全性を継続的にテストして改善しています。
本ポリシーガイドラインと禁止ポリシーはGoogleの生成AIツールの安全かつ責任あるユーザーを優先しています。Googleのポリシー開発プロセスは、新興トレンドの特定、エンドツーエンド思考、およびセーフティ設計を含みます。当社は継続的に製品内のセーフガードを強化して、世界中のユーザーへのスケーリングされた保護を提供します。
Googleでは、脅威インテリジェンスを活用して対抗者の作戦を中断させます。当社は、政府支援の脅威アクターによる悪意のあるサイバー活動を含む、製品、サービス、ユーザー、およびプラットフォームの悪用を調査し、適切な場合は法執行機関と協力しています。さらに、悪意のあるアクティビティに対抗することから得た学習は、AIモデルのセーフティとセキュリティを改善するために製品開発に戻されます。分類器とモデルレベルの両方で実行できるこれらの変更は、防御におけるアジリティを維持し、今後の悪用を防止するために不可欠です。
Google DeepMindはまた、生成AIの潜在的な脆弱性を特定するための脅威モデルを開発し、悪用に対処するための新しい評価とトレーニング技術を作成しています。この研究と並行して、Google DeepMindは、間接プロンプト注入攻撃へのAI脆弱性を自動的に赤チーム実行できるロバストな評価フレームワークを含む、AIシステムに積極的にディフェンスを展開する方法、測定・監視ツールについて共有しています。
AI開発とトラスト・セーフティチームはまた、悪用を抑制するために脅威インテリジェンス、セキュリティ、およびモデリングチームと密接に連携しています。
AIの可能性、特に生成AIの可能性は非常に大きいです。イノベーションが進む際に、業界はAIを責任を持って構築・展開するためのセキュリティ標準が必要とします。これが、当社がセキュアAIフレームワーク(SAIF)を導入した理由です。これはAIシステムをセキュアにするための概念的なフレームワークです。包括的な開発者向けツールキットと、AIモデルを責任を持って設計、構築、評価するためのリソースとガイダンスを共有しています。また、セーフガード実装、モデル安全評価、およびレッドティーミングのベストプラクティスを共有して、AIシステムをテストしセキュアにしています。
Googleはまた、AIの潜在的な使用を自動的に見つけるための確保のために、AIがいかに責任を持って構築されているかを継続的にAI研究に投資しています。昨年、当社はGoogle DeepMindおよびGoogle Project Zeroによって開発され、ソフトウェア内の未知のセキュリティ脆弱性を積極的に検索・発見するAIエージェントBig Sleepを導入しました。Big Sleepは以来、初めての実世界のセキュリティ脆弱性を発見し、脅威アクターによって差し迫った使用をされようとしていた脆弱性の発見を支援しました。GTIGは、事前にこれを切り離すことができました。また、脆弱性を検出するだけでなく、修正するためにもAIを実験しています。当社は最近、Geminiモデルの高度なレゾナリング機能を活用して、重大なコード脆弱性を自動的に修正する実験的なAIエージェントCodeMenderを導入しました。
著者について
Google脅威インテリジェンスグループは、Alphabet、ユーザー、顧客に対するサイバー脅威の全体的なクラスを特定、分析、軽減、除去することに焦点を当てています。本業務には、政府支援の攻撃者からの脅威、ターゲット型ゼロデイエクスプロイト、調整されたIOおよび深刻なサイバー犯罪ネットワークに対抗することが含まれます。当社はインテリジェンスを適用してGoogleのディフェンスを改善し、ユーザーと顧客を保護しています。
翻訳元: https://cloud.google.com/blog/topics/threat-intelligence/threat-actor-usage-of-ai-tools/