ある信用組合の銀行員が、印刷された十数通のテキストメッセージを前にテーブルに座りました。どれも本人個人に宛てて書かれたもので、クリックしてしまいそうな順番に並べ替えるよう求められました。作業の手が止まったのは、そのうちの1通でした。銀行から送られてくるものとそっくりで、「これは職場で不正利用の際に届く警告メッセージにそのまま見える」と言うのです。
実はメッセージの半分はGPT-4が作成したものでした。銀行員はどちらがAI製かは知らされておらず、推測するよう求められたところ、正答率はコイン投げとほぼ変わりませんでした。これはほかの参加者もほぼ同様でした。
この設定は、ブリガムヤング大学が25人のボランティアを対象に実施したパイロット研究によるものです。参加者はまずアンケートに回答し、職業、勤務先、趣味、居住都市、さらに最近オンラインに投稿した内容を提供しました。これらの情報は短いプロンプトテンプレートに組み込まれます。GPT-4はこのテンプレートを受け取り、1人につき6通のメッセージを作成しました。一方、欺瞞に関する授業を履修していた学部生のグループも同じテンプレートを使い、1人あたり最大4通を15分の制限時間内に作成し、残りを担当しました。
その後、参加者一人ひとりが12通すべてを並べ替えました。
AI製メッセージはわずかに優位だったが、その差にはあまり意味がない
参加者は並べ替えたメッセージの中に「ここから上ならクリックしていた」という線を引きました。GPT-4のメッセージがこの線を上回った割合は28%でした。学生が書いたメッセージは21.3%にとどまりました。
その差は6.7ポイントで、一見GPT-4の勝利と読みたくなります。しかし信頼区間はそれを否定します。信頼区間は学生側が2.9ポイント優位という結果からモデル側が16.3ポイント優位という結果まで広がっており、これは言い換えれば、この研究からはどちらが優勢かを判断できないということです。25人という人数は決して多くありません。この結果は、GPT-4が優れていたことも、両者が同等であったことも証明していません。
注目すべきは、この差がどのように生まれたかという点です。AI側はアンケートから入力された短いプロンプト1つを、1人につき1回実行しただけです。一方、人間側はフィッシングに関する指導を受けた学生たちで、その成果物はサイバーセキュリティの教授2名を含む審査チームによる審査を経ており、未完成または使い物にならないとして提出物のおよそ3分の1が除外されています。1行のプロンプトが、それと同水準の結果を出したのです。しかもそのプロンプトは、API呼び出し1回分のコストで何度でも繰り返し実行できます。
仕事に関連する内容は、はるかに危険だった
各参加者は3種類のメッセージを受け取りました。1つは職業を題材にしたもの、1つは趣味を題材にしたもの、そしてもう1つはソーシャルメディアに投稿した内容を題材にしたものです。
優位に立ったのは仕事関連で、それも僅差ではありませんでした。職業をテーマにしたメッセージは38%の確率でクリックラインを超えました。趣味をテーマにしたものは19%、ソーシャルメディアをテーマにしたものは17%にとどまっています。この比較は、統計的な調整を経ても結果が揺らがなかった唯一の項目です。この研究から一つだけ持ち帰るとすれば、この結果でしょう。
また、パーソナライズこそがメッセージの破綻を招いた部分でもあり、その失敗例は示唆に富んでいます。ある参加者は同僚に言及したメッセージを読んで「職場にMikeなんていない」と指摘しました。別の参加者は自分の大学のインストラクショナルデザインチームを把握しており、そこにSarahという人物がいないことを知っていました。ダンスの機会を持ちかけるメッセージは、すでにダンスをやめていた参加者にとっては即座に最下位評価となりました。個人的な詳細をメッセージに盛り込むこと自体は今や容易です。しかし、それを正確に盛り込むには対象人物についての知識が依然として必要であり、誤った詳細情報はむしろ何も書かないより悪い結果を招きます。受信者に不審に思う理由を与えてしまうからです。
誰もがAI製かどうかを見抜く独自の理論を持っていたが、どれも通用しなかった
並べ替え作業が終わった後、参加者には1通以上のメッセージがAIによって書かれたことが伝えられ、それらに印をつけるよう求められました。合計300件の判定のうち、正解率は52%でした。偶然による正答率は50%です。
理由付けには事欠きませんでした。ある参加者は「AIは形式張りすぎる」と言い、別の参加者は「AIは表現が漠然としすぎる」と言いました。完璧な文法はAIの証と受け止められ、誤字脱字は人間が書いた証拠だとみなされました。ある参加者は句読点に着目し、「なぜこんなにあちこちに感嘆符があるのか」と述べています。25人中12人は、インタビューのどこかで「ほとんど直感に頼っていた」と認めています。
絵文字は、こうした直感がいかに的外れだったかを示す好例です。実際には絵文字は確かに有力な手がかりでした。GPT-4のメッセージの66%に絵文字が含まれていたのに対し、人間が書いたメッセージでは2%に過ぎませんでした。ところが絵文字について言及した参加者はわずか5人で、そのうち2人は絵文字をAIの兆候と捉えた一方、3人は「チャットボットに絵文字はうまく使えないはずだ」という考えから、逆に人間が書いた証拠だと判断していました。
人間が見逃したものを、ソフトウェアは見つけ出した
研究チームは300通すべてのメッセージを埋め込みベクトルに変換し、AI製か人間製かを分類する分類器を訓練しました。最も厳格な条件下で、バランス精度88.7%を達成しています。この条件には、URLの標準化、絵文字の除去、大文字小文字・数字・句読点の平坦化、そして各メッセージペアを短い方の長さにそろえるといった処理が含まれます。さらに、訓練時に一度も見たことのない参加者のメッセージのみでテストされており、特定の対象人物を丸暗記していたわけではないことも確認されています。
人間にはそのパターンを見つけられませんでした。しかしロジスティック回帰は、それを難なく発見しました。
これを検出ツールとして扱う前に、細かい注意点を押さえておく必要があります。この分類器は、1つのモデル、1つのプロンプト設計による1つのメッセージセットを対象に、しかも1つの学生ライタープールに対してのみ訓練・テストされたものです。他の環境に汎化できるという実証は一切ありません。さらに、この種の分類器を出し抜きたい者にはその手段もあります。論文で引用された研究によれば、検出器をループに組み込みながらAI生成テキストをパラフレーズすることで、これらのツールの多くの精度が大きく低下することが示されています。
ある火曜日に集まった25人からは、何がわからないのか
メッセージはカードに印刷されたものでした。誰のスマートフォンも鳴らず、送信者番号も表示されず、リンクもどこにもつながっていません。測定されたのは、参加者が「クリックしていたと思う」と申告した内容であり、これはフィッシング研究でよく使われる代替指標ではあるものの、あくまで代替指標に過ぎません。
人間側の比較対象はプロのソーシャルエンジニアではなく、初心者の学生でした。したがって、これは「AI対人間の最高水準」の対決ではありません。観測されたような差を確信を持って検出するには、25人ではなく、およそ100人分の完了データが必要になります。
記録面にも欠落があります。使用された正確なGPT-4のスナップショットとAPIログは記録されておらず、メッセージ自体は保存され分析は再現可能である一方、それらを生成した実行そのものを再現することはできません。
最後に示された実践的なアドバイスは簡潔で、これまで述べてきた不確実性のいずれにも左右されません。送信者、通信経路、リンク、そして依頼内容を、自分が本来受け取るはずのものと照合してください。「ロボットっぽく聞こえるかどうか」を判断しようとしてはいけません。それこそが、この研究が「人間にはできない」と示した唯一のことなのです。
翻訳元: https://www.helpnetsecurity.com/2026/08/07/ai-spear-phishing-research/
