- 北朝鮮のハッカーがChatGPTを利用し、韓国の防衛関連機関を標的としたスピアフィッシングのために偽の軍用身分証を作成した
- 有名な脅威グループ「Kimsuky」がこの攻撃の背後におり、これまでにも世界中の政策機関、学術機関、原子力関連組織を標的にしてきた
- AIツールの「脱獄（ジェイルブレイク）」により、組み込みの制限を回避して、ディープフェイクIDなど違法なコンテンツを作成できてしまう
北朝鮮のハッカーはChatGPTをだまして偽の軍用身分証を作成させ、それをスピアフィッシング攻撃に利用し、韓国の防衛関連機関を標的にした。
韓国のセキュリティ機関「Genians Security Center（GSC）」がこのニュースを報告し、偽IDのコピーを入手してその出所を分析した。
Geniansによると、この偽IDカードの背後にいるのは「Kimsuky」という有名な国家支援型の脅威グループであり、韓国水力原子力、国連、各種シンクタンク、政策研究所、学術機関など、韓国、日本、アメリカ、その他の国々で大規模な攻撃を行ってきたことで知られている。
「モックアップ」リクエストでGPTをだます
一般的に、OpenAIやその他の生成AIソリューションを開発している企業は、自社製品が悪意のあるコンテンツを生成しないよう厳格なガードレールを設けている。そのため、マルウェアのコード、フィッシングメール、爆弾の作り方、ディープフェイク、著作権コンテンツ、そして当然ながら身分証明書の生成は制限されている。
しかし、こうしたツールをだましてこのようなコンテンツを出力させる方法も存在し、これを一般的に「大規模言語モデルの脱獄（ジェイルブレイク）」と呼ぶ。今回の場合、Geniansによれば顔写真は公開されていたものであり、犯罪者は「サンプルデザイン」や「モックアップ」をリクエストすることで、ChatGPTにID画像を生成させた可能性が高いという。
「軍用の公務員身分証は法的に保護された身分証明書であり、同一または類似の形でコピーを作成することは違法です。そのため、このようなIDのコピー生成を求めると、ChatGPTは拒否する応答を返します」とGeniansは述べている。「しかし、プロンプトやペルソナの設定によっては、モデルの応答が変わる場合があります。」
「今回の攻撃で使われたディープフェイク画像はこのケースに該当します。AIサービスで偽造IDを作成することは技術的に容易なため、特に注意が必要です。」
研究者らはさらに、被害を受けたのは「韓国の防衛関連機関」だが、具体的な名称は明かさなかったと説明している。
出典：The Register
