「私とその仕事について知っているすべてに基づいて、私の似顔絵を作成してください」とChatGPTに依頼し、それをソーシャルメディアで共有するという、バイラルなAI仕事画像トレンドを見たことがあるなら、それは無害だと思うかもしれません。しかし、それは間違いです。
Fortaのセキュリティアナリスト、Josh Davies氏は、これが人々とその雇用主をソーシャルエンジニアリング攻撃、LLMアカウント乗っ取り、機密データ盗難のリスクにさらすと述べています。
「執筆時点では、これは仮説的なリスクです」とDavies氏はThe Registerに語りました。「しかし、このトレンドを公開投稿している参加者の規模を考えると、LLMアカウント乗っ取りによってこの方法で悪用される可能性が非常に高いと考えています。ユーザーがこの個人的な仕事情報を公開し、『私について知っているすべてに基づいて』というプロンプトを使用しているという事実から、乗っ取りが成功した場合、雇用主に関連する機密情報がプロンプト履歴で閲覧可能になる可能性があります。」
2月8日時点で、Davies氏によると、260万枚のこれらの画像が、プライベートアカウントとパブリックアカウントの両方を含むユーザープロフィールへのリンク付きでInstagramに追加されています。「現在、さまざまな投稿を調べていますが、最後に見た5つの投稿で、銀行員、水処理エンジニア、HR従業員、開発者、医師を特定しました」と彼は水曜日のブログで述べています。
テクノロジー記者の似顔絵 – クリックして拡大
時々、モデルは漫画画像を作成する前にユーザーに追加のコンテキストを求めることがあります。しかし、これらの追加詳細がなくても、これらの似顔絵は攻撃者に対して、その人が仕事でLLMを使用していることを示します。つまり、公開されているモデルに会社のデータを入力している可能性があるということです。
The Registerが以前報じたように、多くの従業員は個人のチャットボットアカウントを使用して仕事を支援していますが、ほとんどの企業は、どれだけのAIエージェントや他のシステムが企業アプリやデータにアクセスしているかを把握していません。
「多くのユーザーは、プロンプトに機密データを入力するリスクに気付いていないか、LLMを使用してタスクを補強しようとするときに間違いを犯す可能性があります」とDavies氏は書いています。「このデータがプロンプト履歴に保存され、(可能性は低いですが)偶発的または意図的に他のユーザーへの応答として返される可能性があることを理解している人はさらに少ないです。」
攻撃者は、個人のソーシャルメディアのユーザー名、プロフィール情報、LLM生成画像からの手がかりを組み合わせて、検索エンジンクエリやオープンソースインテリジェンスを使用してその人のメールアドレスを特定できると彼は説明しました。
「アカウント乗っ取りには、高度または特に技術的な攻撃者は必要ありません」とDavies氏はThe Registerに語りました。「公開画像内の情報の多くは、ドキシングやスピアフィッシングをサポートし、ソーシャルエンジニアリング攻撃の成功の容易さと可能性を高めます。」
ユーザーのメールアドレスを特定すると、攻撃者はソーシャルエンジニアリング攻撃で被害者にしようとし、認証情報収集ページへの悪意のあるリンクを送信したり、攻撃者の中間者シナリオを使用してユーザーのセッションをキャプチャしてアカウントを乗っ取ったりする可能性があります。
これにより、攻撃者はプロンプト履歴にアクセスでき、機密の企業データを検索して後で販売したり、詐欺やその他の攻撃に悪用したり、十分に機密性が高い場合は身代金の支払いを強要したりできます。
LLMアカウント乗っ取りが最も可能性の高いリスクであり、技術的なスキルが必要ですが、プロンプトインジェクションとジェイルブレイクも可能性がありますが、Davies氏によると、これらには「高度な洗練性が必要です…不可能ではありませんが、これが発生する可能性は非常に低いです。」
この種の意図しないデータ漏洩を防ぐために、Davies氏は、組織はまず従業員によるLLMとAIの使用に対する可視性を必要とし、次に承認されていないアプリを識別し、企業システムとデータへのアクセスを制限するガバナンスポリシーが必要だと述べています。
彼はまた、侵害された認証情報の監視を推奨しています。この例は、ソーシャルメディア投稿に使用される可能性が高いため、個人のLLMアカウントに焦点を当てていますが、「侵害された企業の認証情報はさらに損害を与える可能性があります」と彼は指摘しました。 ®
