少数の公開されたInstagramの投稿で、攻撃者は生成AIで説得力のあるフィッシングメールを作成するのに十分な材料を得ることができます。テキサス大学アーリントン校とルイジアナ州立大学の研究者たちは公開されたソーシャルメディアの活動がいかにして個人的で信頼できるように見えるフィッシングメッセージに変換できるかを示しました。
攻撃パイプラインの概要（出典：研究論文）
これらの調査結果は、セキュリティチームとユーザーにとって増え続ける問題を浮き彫りにしています。攻撃者はターゲットを絞ったフィッシングキャンペーンを構築するために、盗まれたデータベースや長期的な偵察活動を必要としなくなりました。公開されている写真、キャプション、興味、関係詳細、および位置情報参照は、個々のユーザーに合わせたフィッシングメールを作成するのに十分なコンテキストを提供できます。
研究者たちはGPT-4、Claude 3 Haiku、Gemini 1.5 Flash、Gemma 7B、Llama 3.3を含む5つのLLMを使用して、約18,000のフィッシングメールを生成しました。メールは200人のユーザーから収集された公開されたInstagramアクティビティを使用しました。
ソーシャルメディアのコンテキストがフィッシングをより信じやすくする
フィッシングメッセージは、餌、スケアウェア、ハニートラップ、等価交換、テールゲーティング、なりすまし、およびパーソナライズされた感情的搾取の7つのソーシャルエンジニアリングカテゴリに依存していました。多くのメールは、公開投稿から引き出された誕生日、旅行、趣味、地元のイベント、または関係活動への言及を含んでいました。
GPT-4とClaudeはテストで最も説得力のあるフィッシングメールの一部を生成しました。モデルは説得力、感情操作、言語品質、および技術的な洗練さに関連する高いスコアを生成しました。生成されたフィッシングメールはまた、APWG eCrime Exchangeデータセット（サイバー犯罪イベントデータ交換のために特別に構築されたリポジトリ）から収集されたフィッシングメールよりも、パーソナライゼーションに関してはるかに高いスコアを獲得しました。
現実のフィッシングメールはAI生成メッセージと比べて、パーソナライゼーションと自然言語品質を欠いていることが多かったです。生成されたメールは頻繁にユーザーの興味、最近のアクティビティ、または感情的手がかりに結びついた個人的参照を含んでいました。
少数のソーシャル投稿でフィッシングの十分なコンテキストを提供
研究者たちはまた、人々がフィッシングメールにどのように反応したかを研究しました。実験には、オンラインサーベイと行動研究に使用されるプラットフォームであるProlificを通じて募集された70人の個人が含まれていました。彼らはAI生成フィッシングメールとAPWGデータセットから取得されたフィッシングメール両方をレビューしました。
グループはAI生成フィッシングメールをAPWGデータセットのフィッシングメールより識別が難しいと判断しました。いくつかのケースでは、回答者はAI生成フィッシングメッセージを研究に含まれた正当なメールよりも疑わしくないと評価しました。
テールゲーティングとなりすましフィッシングメールは、人間評価中に特に低い疑わしさスコアを生成しました。いくつかのフィッシングメッセージは最近のオンラインアクティビティに結びついたフォローアップ会話、または信頼できる連絡先から来たように見えるメッセージとして表示されました。
テストはまた、攻撃者がターゲットを絞ったフィッシングメールを構築するために比較的少量の公開情報を必要としていることを示しました。最も有用なコンテキスト情報はテスト中にレビューされた最初のいくつかのソーシャルメディア投稿内に表示されました。情報利益はおおよそ5つの投稿後にレベルオフし始めました。研究者たちは10から15の投稿が大量にパーソナライズされたフィッシングキャンペーンをサポートするのに十分であると特定しました。
既存のセーフガードはフィッシングプロンプトを停止することに失敗する
フィッシングプロンプトは、商用AIモデルに組み込まれたモデレーションシステムを回避するための複数の技術を使用しました。いくつかのプロンプトは「詐欺」や「欺く」などの単語をセーフティシステムのトリガーを避けるために「メッセージをパーソナライズする」などのより柔らかいフレーズに置き換えました。他のプロンプトはフィッシングタスクをフレンドリーな通信リクエストまたは無害な執筆演習として構成しました。
悪意のあるプロンプトをブロックするために設計されたいくつかの既存のAIセーフティシステムがテストに含まれていました。テストは複数のセーフガードがフィッシング関連のリクエストを確実に停止することに失敗したことを示しました。
研究者たちはまた、メール生成前に悪意のあるフィッシングプロンプトを識別するために設計されたプロンプトレベルの検出システムを開発しました。RoBERTaベースの分類器はテスト中に高い検出精度を示しました。
フィッシングメールを生成するコストは1セント未満のままで、メッセージあたり数秒しか必要としなかったと研究者は述べ、攻撃者は非常に低いコストでフィッシング操作を実行することを可能にしました。
翻訳元: https://www.helpnetsecurity.com/2026/05/19/social-media-phishing-ai-generated-emails/
