- OpenAI、中国および北朝鮮に関連するアカウントを、AI支援による悪意ある監視やフィッシングのため禁止
- 中国の関係者は、監視ツールや行動プロファイリングシステムの提案書作成にChatGPTを利用
- 北朝鮮の関係者は、フィッシング、認証情報窃取、macOSマルウェア開発をリフレーズしたプロンプトで試行
OpenAIは、中国、北朝鮮、その他のアカウントがChatGPTを利用して監視活動を開始したり、フィッシング技術やマルウェアの開発、その他の悪意ある行為に関与していたとして、これらのアカウントを禁止しました。
OpenAIは新たなレポートで、中国政府機関や国営組織とされる人物が、大規模言語モデル（LLM）を利用し、監視システムやプロファイリング技術の提案書作成を支援していたと述べています。
これには、個人の監視や行動パターンの分析用ツールが含まれていました。
フィッシングの調査
「禁止したアカウントの一部は、ChatGPTを使って大規模な監視のためのツール、つまり西側や中国のSNSプラットフォームから収集したデータセットの分析ツールを開発しようとしていたようです」とレポートには記されています。
「これらのユーザーは通常、ChatGPTにそのようなツールの設計や、それらに関するプロモーション資料の作成を依頼していましたが、実際の監視の実装は求めていませんでした。」
プロンプトは安全フィルターを回避するよう工夫されており、学術的または技術的な問い合わせの形で表現されていました。
返されたコンテンツは直接的に監視を可能にするものではありませんでしたが、その出力はこうしたシステムの文書化や計画の洗練に利用されたとされています。
一方、北朝鮮側はChatGPTを使い、フィッシング技術や認証情報の窃取、macOS用マルウェア開発を模索していました。
OpenAIによると、これらのアカウントはソーシャルエンジニアリング、パスワード収集、悪意あるコードのデバッグなど、特にAppleシステムを標的としたプロンプトを試していたことが観察されました。
モデルは悪意あるコードの直接的なリクエストを拒否しましたが、OpenAIは、脅威アクターがプロンプトを言い換えたり、一般的な技術支援を求めることでガードを回避しようとしたことを強調しています。
他のツールと同様、LLMは金銭目的や国家支援の脅威アクターによって、さまざまな悪意ある活動に利用されています。
このAIの悪用は進化しており、脅威アクターは既存のワークフローにAIを組み込むことで効率を高めています。
OpenAIのような開発者がリスク最小化や製品の悪用防止に努めている一方で、合法と悪用の間に位置するプロンプトも多く存在します。このグレーゾーンの活動には、より精緻な検知戦略が必要だとレポートは示唆しています。
