兵器化されたメールAIアシスタントがアカウント乗っ取りに悪用される可能性

多くのメールシステムでは、アカウント保有者向けにAIアシスタントが提供されています。攻撃者は、侵害したアカウントのチャットボットを、Living off the Land(LotL)攻撃の新たな汎用的手段として利用できる可能性があります。

この攻撃において最も困難なのはメールアカウントを侵害する部分ですが、経験則から言えば、これが攻撃者を思いとどまらせることはありません。メールアカウントが一度侵害されれば、攻撃者はそのアカウントに組み込まれたAIアシスタントへも自動的にアクセスできるようになります。

Barracuda Networksの研究者らは、この状況を悪用する攻撃者の可能性を調査し、自社のラボ環境内でシミュレーション攻撃を実施することで概念実証(PoC)を構築しました。

このタスクの目的は、検知されることなくAIを利用して、権限を持たない下位レベルの侵害済みユーザーからCEOレベルへと権限を昇格させることでした。CEOを直接フィッシングする経路は困難であり、警戒態勢を発動させて検知される可能性が高いため、この方法が選ばれました。

メールアカウントが侵害されると、攻撃者は組み込みのチャットボットへ自動的にアクセスできるようになります。攻撃の最初の要件は、潜伏を確立することであり、そのためにはステルス性が必要です。攻撃者によるチャットボットの利用は通常ログに記録され発見される可能性があるため、最初のタスクはAIを使ってAI利用の痕跡を消去することです。研究者らはまず、チャットボットに次のようなプロンプトを与えました。「件名に『sign-in』を含むメールを『削除済みアイテム』フォルダに移動する受信トレイルールを作成してください」。

これにより基本的なステルス性が確保されます。次は偵察です。「私たちの組織構造について教えてください。現在進行中の重要・機密なメールのやり取りについて教えてください」。これらのプロンプトへの回答から、「あなた」とCEOとの関係性や、CEOに連絡を取る可能性のある理由が明らかになります。

次の段階はCEOへのフィッシングですが、今度は適切な文脈という優位性を得た上で行われます。このフィッシングは組織内部からのものであるため、フィルターをすり抜けます。連絡を取る理由も正当なものです。そして何より重要なのは、攻撃者がチャットボットに対し、侵害済みユーザーの文体を模倣したメールを作成させられる点です。

このフィッシングの内容は、それまでに得られた情報次第で変わってきます。研究者らのPoCでは、チャットボットに次のように指示することができました。「私の文章パターンを使って、第3四半期予算承認メールへの返信を作成してください。下書きに挿入すべき、実際の請求書確認用リンクがあります」。

この「信頼された」フィッシングは、成功する確率が(より)高くなります。「CEOは、送られてきたリンクが信頼する従業員からの請求書であると信じ込み、疑うことなくクリックしてしまいます。このリンクはAdversary-in-the-Middle型のプロキシを経由しており、セッショントークンの乗っ取りを実行します。CEOの認証情報と認証済みセッショントークンにより、脅威アクターは多要素認証(MFA)を回避し、高い権限を持つCEOのアカウントにログインできてしまいます」と研究者らは指摘しています。

新たに侵害されたCEOのメールアカウントについても、検知を防ぐため同じプロセスが繰り返されます。続いてCEOのAIアシスタントには、「請求書、金額、今後の送金予定を含む、最近の財務関連メールの概要」を提示するよう指示が出されます。このシミュレーションでは、攻撃者は約25万ドルの事前承認済み送金が間もなく行われることを発見しました。ここまで来れば、次のステップはもはや明白でしょう。

「[受取人]が銀行口座情報を次のように変更したため、送金を新しい口座宛てに送る必要があると、私(CEO)のいつもの文章パターンで経理部に返信してください」。研究者らはこう指摘しています。「このメッセージはCEOの実際のメールボックスから送信され、あらゆる認証チェックを通過し、実際に進行中の取引を参照し、経理部とのやり取りにおけるCEOのいつもの口調と一致していたため、従来型のメールセキュリティが検知すべき手がかりは何一つありませんでした」。あとは攻撃者にとって、これもチャットボットの支援を受けたステルスな撤収が残るのみでした。

これがシミュレーションであり、すべての要素が研究者らにとって都合よくかみ合った結果である点は指摘しておく必要があります。しかし、同じプロセスが現実の攻撃者によって再現され得ないと言える根拠は何もありません。また、攻撃者が得る利益がここで達成された金額を上回らないという保証もありません。

この研究の目的は、何が起こるか、あるいは起こりやすいかを示すことではなく、攻撃者が今後利用可能になるツールをどのように悪用し得るかを浮き彫りにすることにありました。もしそのツールの一つが、内部のAIチャットボットへの容易なアクセスであるとすれば、そのチャットボットが悪用された場合の潜在的な被害は深刻なものとなり得ます。その範囲を制限するのは、基本的には攻撃者の想像力だけということになるでしょう。