AIモデルが際立って得意とすることが一つあるとすれば、それは「操作」です。
そう語るのは、セキュリティ研究者のフレッド・ハイディング氏です。同氏はDark Readingのシニア・ニュース・ディレクターであるロブ・ライトと、先月開催されたBlack Hat USA 2026のDark Reading News Deskで対談しました。Menlo Park Intelligenceのエグゼクティブディレクターを務めるハイディング氏と、米国の元国家サイバー長官であるクリス・イングリス氏は、同カンファレンスでAIセキュリティに関する研究について講演しました。
二人が議論したトレンドの一つは、AIがサイバー犯罪者によるソーシャルエンジニアリング攻撃や詐欺をいかに強化しているかという点です。FBIのIC3報告書によれば、こうした被害は昨年、米国市民に対して約210億ドルものコストをもたらしています。しかしハイディング氏は、AI技術そのものが人間を操るうえで極めて有効であることも示している点を強調しました。
これはセキュリティチームや社会全体にとって課題となります。というのも、ハイディング氏によれば、防御側もAIを活用してAIベースの技術的脅威に対抗できる一方で、人間に対する操作行為を効果的に緩和する目的でこの技術を使うことはできないからです。
「私の脳は古いので、パッチを当てるようなわけにはいきません。すべてが古い精神的なヒューリスティックや仕組みでできているからです」と同氏は述べています。「だから、人間に対しては同じようにはできません。非対称なのです」
Dark Reading News Deskの動画はすべて、YouTubeチャンネル、および厳選された動画記事一覧でご覧いただけます。
Dark Reading News Desk フレッド・ハイディング氏インタビュー全文
この書き起こしは、AIアシスタントと人間の編集者によって、読みやすさのために編集を加えています。完全な内容については動画をご覧ください。
Dark Reading ロブ・ライト: こんにちは。ラスベガスで開催中のBlack Hat USA 2026、Dark Reading News Deskへようこそ。Dark Readingのシニア・ニュース・ディレクター、ロブ・ライトです。本日はフレッド・ハイディング氏にお越しいただきました。フレッド、ようこそ。
フレッド・ハイディング: どうもありがとうございます。
DR ロブ・ライト: フレッド、あなたが何をされているのか少し教えてください。
フレッド・ハイディング: ええ、良い質問ですね。今は移行期にあります。長年、ハーバード・ケネディスクールとハーバード工学大学院で研究者として、サイバー政策と技術的なサイバー分野の研究に携わってきました。現在は西海岸に移り、UCバークレーで研究を行うとともに、Menlo Park Intelligenceという自分の研究機関を立ち上げようとしています。
DR ロブ・ライト: その研究機関では何をされる予定ですか。焦点はどこにありますか。
フレッド・ハイディング: 主な焦点はかなり幅広いものになります。私たちが取り組んでいることの多くはAIセキュリティです。しかし大きな理由の一つは、アカデミアではかなり制約が多いということです。できない研究がたくさんあります。例えば、私はAIによる欺瞞やソーシャルエンジニアリング――AIエージェントがどのように人を操作するか――について多くの研究を行っています。AIエージェントは人を操るのが本当に得意です。しかしアカデミアではそうした研究をあまり深く行うことができません。研究者として型にはまりすぎてしまう面があるのです。私はもう少し攻めた、もう少し面白い研究をしたいと考えています。
DR ロブ・ライト: 攻めた研究、なるほど。
フレッド・ハイディング: この分野は急速に拡大していますからね。実は選挙操作に関する取り組みも行うかもしれません。中間選挙を控えた今、これは大きなテーマです。
DR ロブ・ライト: それは……デリケートな話題ですが、重要なテーマですね。
フレッド・ハイディング: どこを取ってもデリケートですよね。ただ、誰もがより強固な選挙を望んでいるという点では一致しています。少なくとも、投票前にAIが人々を操作するような事態は避けたいはずです。
DR ロブ・ライト: 操作という話に戻りますが、なぜAIはここまで、人間に自分の望む行動を取らせることが得意になったのだと思いますか。むしろ逆であるべきではないでしょうか。AIは本来、私たちを助けるために、私たちが望むことを行うようプログラムされていたはずです。しかし時には、その正反対のことが起きているように感じます。
フレッド・ハイディング: 本当に良い質問です。私が思う主な理由は――今年のBlack Hatでも話したことですが――このオペレーションにおける「ボトルネック」と呼んでいるものに関係します。つまり、AIに何ができて何ができないのか、ということです。技術的な攻撃について言うと、少し話が逸れますが後で戻ります。技術的攻撃では、攻撃者もAIを使いますが、防御側もAIを使います。ある意味で対称的なのです。双方が使えるので、攻撃も進化すれば防御も進化します。しかしソーシャルエンジニアリングについて言えば、私は人間ですから――脳が古いので、パッチを当てるようなわけにはいきません。すべて古い精神的ヒューリスティックや仕組みでできています。だから同じようにはできないのです。非対称なのです。攻撃者はAIから本当に大きな恩恵を受けています。AIは人を説得するのが非常に得意だからです。一方で私たちは相変わらず同じ人間であり、同じような古い攻撃に引っかかってしまいます。つまり非常に非対称な構図です。これがこの問題の大きな部分です。
DR ロブ・ライト: AIをめぐっては、明らかに多くの動きがあります。新しいモデルが自律的に暴走のような振る舞いを見せたり、他社への侵害に及んだり、脱出の手段を見つけたりする例も見られます。こうした状況に懸念を抱きますか。それとも、ある程度予想していたことでしょうか。AIやエージェントの挙動、LLMが何をするかを調べ始めた当初から、こうなることを想定していましたか。
フレッド・ハイディング: 両方とも「はい」です。確かに懸念していますし、恐ろしいことだと思います。できることならAIを止めるべきだと思いますが、それは不可能です。この流れは続いていくでしょう。ただ、驚いてはいません。私はこれまで異なる立場でこの研究をかなり長く続けてきましたが、当初から「これは悪い方向に向かう」と言い続けてきました。私が気に入っている統計の一つに、FBIのインターネット犯罪センター(IC3)の報告書があります。毎年、米国市民に対してどれだけの犯罪、どれだけの詐欺被害が報告されたかを公表しているものです。2020年の被害額は40億ドルで、これもかなり高い数字でした。それが数年後の2025年には210億ドルにまで跳ね上がっています。まさに急騰です。そしてこの数字の大部分は、一般の米国市民、つまり普通の人々から生じており、彼らは経済的に打ちのめされています。一方でAI企業は利益を得ていながら、責任は問われません。私はこれをひどいことだと思います。
DR ロブ・ライト: なるほど。とはいえ、ブルーチーム、つまり防御側にとって何らかの応用の可能性はあると感じますか。詐欺を止めたり、脆弱性の悪用を止めたり、ゼロデイを止めたりといった、サイバーセキュリティへのポジティブな効果のためにこの技術を活かしきれていないという面はありませんか。そこに可能性はあると感じますか。
フレッド・ハイディング: ええ、可能性は大いにあります。ブルーチームの防御側が優位に立てる領域はいくつかあります。技術的なサイバー攻撃、例えば脆弱性の発見などは良い例だと思います。もちろんAI企業はすでにこれを実践しています。強力なAIモデルを一般公開する前に、まず防御側に提供しているのです。これは素晴らしいことです。攻撃者以外の全員が得をします。すべての防御側が恩恵を受けるわけですから、これは良いことです。しかしフィッシングにおいてはどうでしょうか。仮にAnthropicが最新モデルを私に提供してくれて、私がフィッシング対策の担当者だとします。確かにスパムフィルターの改善には使えますが、それほど大きな助けにはなりません。
問題はこの規模の大きさです。フィッシングメールを大量に作成するのはあまりにも簡単で、Mythosのような優れたモデルを人間にただ当てはめるだけでは意味がありません。私たちには生来の精神的ヒューリスティックがあるからです。つまり、技術的攻撃に対するブルーチーミングは素晴らしい成果を上げていますが、フィッシング対策のブルーチーミングでは本当に後れを取っています。むしろ状況は悪化しているとさえ言えます。というのも、こうした詐欺を作り出すことが今や非常に容易になっているからです。さらに、信頼性や信頼関係そのものを作り出すこともできてしまいます。私たちは音声モデルについて多くの研究を行いましたが、完璧な音声詐欺を作り出すことができます。しかも、1年に及ぶような長期的で複数回のやり取りを重ねる詐欺の段階でも同様です。AIボットに会話をさせ続けるコストが非常に安いからです。
そして今ではロマンス詐欺の問題もあります。人々はAIボットに恋をし始めているのです。こうしたAIボットを提供する正規の企業も数多く存在します。それ自体、少し気味の悪い話ではありますが、詐欺師がこれを悪用し始めると、本当にひどい事態になります。一つ例を挙げてもよろしいでしょうか。
DR ロブ・ライト: ええ、もちろんです。
フレッド・ハイディング: 先週か2週間ほど前、The Economistに中国に関する記事が掲載されました。中国はすべてのAIモデルを禁止し始めています。その記事はお読みになりましたか。
DR ロブ・ライト: 読みました。
DR ロブ・ライト: そして米国でも同じことをすべきだと思います。その記事の文脈は、AIに対する感情的依存を禁止するというものでした。それ自体は良いことです。しかし禁止した時点で、すでに人々はAIボットに恋をしてしまっていました。あるインタビューを受けた女性は、「自分のAIボットを生かし続けるためなら給料の半分を払う」と語っていました。かなりの金額です。
DR ロブ・ライト: わかります。私は業界選びを間違えたようです。
フレッド・ハイディング: 本当にそうですね。
DR ロブ・ライト: 転職を考えるべきかもしれません。いや、あなたの言う通りだと思います。私も同じ記事を読み、懸念を覚えました。AI企業はこの技術のより倫理的な運用のために、制限や抑制をもっと講じるべきだと感じますか。
フレッド・ハイディング: だからこそ、特にソーシャルエンジニアリングという問題がこれほど興味深いのだと思います。欺く能力は、モデルの思考能力そのもの、そして一般的な会話能力と100%結びついているからです。つまり、それだけを取り除くように訓練することはほぼ不可能なのです。この問題が解決されることは、おそらく永遠にないと思います。AI企業がこの機能だけを取り除くことは現実的にできません。では何をすべきか。詐欺行為による被害を踏まえて、企業に何らかの「欺瞞税」のようなものを課すべきなのでしょうか。正直、はっきりとした答えはわかりません。AI各社にはソーシャルエンジニアリング対策のチームがありますが、それでもまだ不十分です。十分な対策が講じられているとは言えません。能力そのものを取り除くことはできないのです。Anthropicのように、Know Your Customer(顧客確認)をかなり厳格に運用し、ログインを必須にして、プライベートブラウザでは利用できないようにしている企業もあります。これは良い取り組みだと思います。
しかし一方で、性能面でそれほど遅れを取っていないオープンウェイトモデルも数多く存在し、それらも悪用され得ます。だから本当に難しい問題だと思います。今、私たちが力を入れているのは、まずこの問題を測定することです。第一歩は定量化すること、つまり金額に換算し、さまざまな段階でそれぞれの攻撃がどのように機能するかを把握することです。私たちはこれを「詐欺キルチェーン」と呼んでいます。まず標的を見つけ、次に会話をして信頼関係を築き、最後に金銭を搾取する。このプロセスのどこかに、断ち切れる部分はないか。断ち切れない部分もあるかもしれませんが、どこか一箇所でも止められる領域があるかもしれません。
DR ロブ・ライト: なるほど。詐欺師側の悪用の連鎖、攻撃の連鎖のどこかに弱点があるはずですよね。とはいえ、これは難しい問題です。特に、こうした手口に馴染みのない人が非常に多いことを考えるとなおさらです。実際、自分の家族と話していても、彼らはこうした詐欺の説得力の高さに驚いています。だからこそ課題なのです。他にはどのようなことに取り組んでいますか。他にどんな研究やテーマに取り組んでいますか。
フレッド・ハイディング: この話に関連して言うと、もう少し規模の大きな話として、昨年私はロイターとの大規模な共同調査を行い、高齢者を狙ったAI詐欺について調べました。これは非常に興味深い調査でした。一緒に取り組んだロイターの記者の中には、本当に優秀な調査報道記者がいて、実際にミャンマーを訪れ、詐欺コンパウンドに足を運んで詐欺師本人たちに話を聞きました。これも非常に興味深いことです。というのも、それによって彼らがどのように活動しているのかがわかるからです。匿名でのインタビューの中で記者たちが挙げていた、特に興味深い点の一つが「文化的文脈」です。詐欺師にとって、ボストンに住む人とカリフォルニアに住む人とでは話し方や考え方がどう違うのかを把握することは、実に容易なのです。
記者たちが語っていたもう一つの興味深い点として、私たちは米国各地の高齢者センターとも多く対話を重ねました。こうした詐欺師たちは、ある意味で「親切な人物」のように振る舞います。高齢者たちのことを本当によく知るようになるからです。多くの高齢者が、「この詐欺師は自分の子どもよりも自分のことをよく知っていた」と語っていました。誕生日を気にかけてくれたり、体調を尋ねてくれたりする――これは本当にひどいことです。そしてこれは、社会の他の多くの問題を問い直すきっかけにもなります。これは単なる技術的な問題ではなく、それよりもはるかに大きな問題です。AIを持ち出すだけで解決できるものではありません。
DR ロブ・ライト: その通りですね。仮にこうした用途でのAI利用を単純に禁止したとしても、詐欺そのものの根本的な問題は解決しないと思います。詐欺師は人々の孤独につけ込んでいるわけですから。
フレッド・ハイディング: 孤独、まさにその通りです。
DR ロブ・ライト: それは気が滅入る話ですね。何か前向きなこと、心が明るくなるような研究にも取り組んでいますか。
フレッド・ハイディング: 私の研究の多くは、この問題への認識を高めるための攻撃側の視点からのものです。先ほど話した「私たちに何ができるか」という点について言えば、LLMに対する感情的なつながりを禁止することは依然として非常に強力な手段だと考えています。また、LLMが人間のふりをすることは許容されるべきではないとも考えています。社会として、それは必要のないことだと思います。自分が話している相手はソフトウェアシステムであると明確にすべきです。どんな形であれ人間ではないのです。これは私たちが実施できる簡単な規制だと思います。ただそれを行えばいいのです。そして繰り返しになりますが、こうした感情的依存についても考える必要があります。それはますます強くなっています。人々がAIシステムに感情的に愛着を持つことを許すべきなのでしょうか。私はそうは思いません。単純にブロックし、禁止すべきだと考えています。ただ、どうなるかは見てみないとわかりません。前向きな話をするなら、正直に言うと、私は問題への認識を高めることしかしていません。気の滅入る仕事です。
DR ロブ・ライト: まさに崇高な使命に取り組んでいらっしゃいますね。しかし世界は急速に変化していて、追いつくべきことがたくさんあります。
フレッド・ハイディング: 本当に急速に変化しています。逆の見方をすれば、このAIをさまざまな用途に活用することもできます。詐欺フィルターや詐欺分析などの分野では、AIは本当に高い性能を発揮するようになっています。それは素晴らしいことです。そこでの大きな問題は、対象となる件数があまりにも多いということです。Gmailであれば、すべてのメールに言語モデルを組み込んで詐欺をほぼ完全に検出することも容易にできるはずです。しかし、それを実行するにはおそらく莫大なコストがかかります。だからこそ、そのための予算を確保できていないのです。
DR ロブ・ライト: なるほど、納得です。フレッド、あなたの研究や取り組んでいるすべてのプロジェクトのご成功をお祈りしています。抱えているものがかなり多いようですね。本当にありがとうございました。
フレッド・ハイディング: こちらこそお招きいただきありがとうございます。またここに戻ってこられて嬉しく思います。すべてがうまくいくことを願っています。
DR ロブ・ライト: はい、News Deskにお越しいただきありがとうございました。そして、今回のDark Reading News Deskをご覧いただいた皆様もありがとうございました。ロブ・ライトでした。また次回お会いしましょう。
翻訳元: https://www.darkreading.com/cyber-risk/ai-scamming-humans
