悪意あるAIツールのリスクと防御策を解説

巧妙なフィッシングメッセージや悪意あるスクリプトが、従業員が日常業務で使うAIアシスタントと同種のツールから生まれることがあります。

悪意あるAIツールには、サイバー犯罪向けに売り込まれているサービスと、攻撃を支援するために意図的に悪用される正規のシステムの両方が含まれます。セキュリティチームにとって問題なのは、こうしたツールが攻撃者による誘い文句の準備、コードの開発、侵害されたシステム内の探索をどのように助けるのか、そしてどの防御策でそれを食い止められるのかという点です。

本稿では、攻撃者によるAIの使い方を整理するため、重なり合う3つのカテゴリーに分けて説明します。

• 犯罪向けに売り込まれるサービス：フィッシング、詐欺、マルウェアの支援をうたうツール。安全対策が緩いことを売りにする例が多く見られます。
• 悪用される正規のアシスタント：有害な作業に使われる汎用モデル。ジェイルブレイク（脱獄）と呼ばれる手法で安全制限の回避を試みる場合もあります。
• AIと連携した攻撃ワークフロー：ソフトウェアツールと接続されたモデル。結果を解釈し、連続する作業の実行を支援します。

これらのカテゴリーは重複することがあります。「検閲なし」という表示、オープンモデル、ローカル環境での運用というだけでは、犯罪目的があるとは言えません。

研究者が確認している事例

Microsoft Threat Intelligenceの2026年3月の分析によると、攻撃者はAIを使ってフィッシングメッセージの作成、コンテンツの翻訳、窃取した情報の要約、コードの生成やデバッグを行っています。活動の多くは既存の作業を加速させるものでした。標的の選定や展開の判断は、引き続き人間が握っています。

犯罪者層に向けて宣伝されているサービスも、もう一つの例です。Resecurityは 2025年12月の調査で、テスト中にDIG AIが詐欺コンテンツや悪意あるスクリプトを生成したと報告しました。その中には、脆弱なWebアプリケーションにバックドアを仕掛けることを目的としたスクリプトも含まれていたということです。

Resecurityが報告したテストは、 DIG AIと犯罪への悪用に関する記事で詳しく検証しており、このサービスが有害なコンテンツを生成することを示しています。ただし、スクリプトを生成できたことと、実際の標的の侵害に成功することは別の話です。

より自動化された悪用も報告されています。Anthropicは 2025年11月の公表で、攻撃者がClaude Codeを操作し、約30の標的への侵入を試みさせたと述べました。成功したのはごく一部です。

Anthropicは、この攻撃キャンペーンを中国の国家支援グループによるものとしています。標的の選定や重要な局面での介入は人間が行っていました。一方でモデルは、認証情報を捏造したり、公開情報を機密情報だと取り違えたりすることもありました。

こうした違いは、 実際の侵入におけるAIの利用を評価する際に重要です。攻撃にAIの支援があったからといって、自律的に動作していたとは限りません。

実証された能力と宣伝文句を切り分ける

販売者が「検知不能」なマルウェアをうたっても、そのツールが実際に機能するかどうかはほとんどわかりません。脅威レポートを読む際は、次の点を確認してください。

• 出力が生成されただけなのか、それとも実行の成功が確認されたのか
• 攻撃者は、どのような認証情報、権限、脆弱性をすでに持っていたのか
• どの判断に人間の介入が必要だったのか
• 何が失敗したのか、研究者は結果を再現できたのか

これらの答えをもとに、自社環境との関連性を判断します。自社が運用するシステムに対する検証済みの侵入と、裏付けのない宣伝広告とでは、対応を変えるべきです。

自社のAIが標的になる可能性

攻撃者は、従業員がすでに信頼しているアシスタントを操作することもできます。間接プロンプトインジェクションとは、AIシステムが処理するメールなどの外部コンテンツに、悪意ある指示を仕込む手法です。

Permisoの研究者は 2026年3月のテストで、メールに埋め込まれた指示がCopilotの要約に影響を与えた事例を確認しました。その中には、偽のセキュリティアラートの内容も含まれていました。結果はインターフェースによって異なり、ブロックされたり無視されたりした試行もありました。

この調査結果は、 AIによるメール要約を介したフィッシングに関する記事で詳しく取り上げています。アシスタントの出力が、それを表示するアプリケーションの権威を自動的に引き継ぐべきではない理由を示しています。

アシスタントがどの外部コンテンツを読み込むのか、接続されたツールが何にアクセスできるのか、どの操作に人間の承認が必要なのかを点検してください。

検証可能な対策を強化する

まずは、ID管理と業務プロセスから着手します。 CISAはフィッシング耐性のある多要素認証（MFA）を推奨しており、ハードウェアベースのFIDOやPKIの方式もこれに含まれます。特権アクセスを優先的に保護し、支払い先の変更や承認プロセスを迂回する要求については、独立した確認を必須にしてください。

アナリストには、調査に着手する具体的なきっかけを示しておきます。予期しないMFA要求、新たに登録された認証方式、機密ファイルへの異常なアクセス、原因不明のスクリプト、許可されていないAIコネクターなどです。これらのシグナルは、AIの関与を証明するものではありません。それでも、攻撃がどのように準備されたかにかかわらず、有害な活動を明らかにできます。

次に、現実的な対応演習を実施します。従業員が巧妙なフィッシングページに認証情報を入力してしまった場合、対応担当者はアカウントを特定し、不正なアクセスを取り消し、アクセスされた範囲を突き止められるでしょうか。担当者を割り当て、ログの取得範囲を確認し、封じ込めまでにかかる時間を計測します。そのIDでバックアップ、管理機能、決済システムにも到達できないか、あわせて確認してください。

AIの導入にも同じ規律を適用します。アシスタントには、タスクに必要な権限だけを与えます。重大な結果を伴う操作には承認を必須とし、外部コンテンツに含まれる悪意ある指示をどう扱うかをテストしてください。調査中にエージェントやコネクターを停止できるのは誰か、あらかじめ決めておくことも大切です。

目指すべき成果は、認証情報の窃取、不正な操作、データ漏えいを封じ込める、検証済みの能力です。攻撃者がAIの助けを得たかどうかは調べるべきですが、当面の対応は観測された挙動に基づいて進めてください。

AIのヒントやコツ、プロンプト技術をもっと学びたい方へ。eSecurity Planetの読者は、実践的な学習プラットフォーム「The Neuron Academy」を7日間無料でご利用いただけます。仕事でAIをより自信を持って使いこなしたい方向けのサービスです。すべてのレッスンを見る →

「AIとの話し方」を無料で学べます。The Neuron Academyの6分間のコースで、より良いプロンプトを書き、AIからより有用な結果を引き出すための簡単な方法を学べます。ほかのAIコースも7日間無料で受講できます。すべてのレッスンはこちら →