大規模言語モデルの登場以来、敵対的AIの利用に関する長年のテーマは、新しいハッキング手法の創出ではなく、既存のハッキング手法の自動化や強化であるという点です。
この傾向はOpenAIの10月の脅威レポートの大部分でも変わらず、政府機関やサイバー犯罪の地下組織が、AIを活用してハッキングツールやキャンペーンの効率や規模を向上させることを選択しており、車輪の再発明には至っていないことが強調されています。
「繰り返しになりますが、さまざまな種類のオペレーションにおいて、私たちが禁止した脅威アクターは、AIを既存のワークフローに組み込んでおり、AIを中心に新しいワークフローを構築していたわけではありません」とレポートは述べています。
こうした活動の大半は、依然としてマルウェアやコマンド＆コントロールインフラの開発、より説得力のあるスピアフィッシングメールの作成、標的となる人物・組織・技術に関する偵察といった、よく知られた作業に集中しています。
それでも、OpenAIの脅威インテリジェンスチームによる最新の調査は、世界中のさまざまな政府や詐欺師が、どのようにLLM技術を自らの活動に活用しようとしているかについて、興味深いデータポイントを明らかにしています。
あるアカウント群は、中国の情報機関が特に関心を持ついくつかのニッチな分野に特化しているように見えました。
「これらのアカウントを運用している脅威アクターは、PRC（中華人民共和国）情報機関の要件に応じて実施されるサイバーオペレーションと一致する特徴を示していました。具体的には、中国語の使用、台湾の半導体セクター、米国の学術機関やシンクタンク、そして中国政府に批判的な民族・政治団体に関連する組織を標的にしていました」と、著者のBen Nimmo、Kimo Bumanglag、Michael Flossman、Nathaniel Hartley、Lotus Ruan、Jack Stubbs、Albert Zhangは記しています。
OpenAIによれば、これらのアカウントは公に知られている中国のサイバースパイグループと技術的な重複も見られます。
アメリカ製のプロダクトに満足していなかったのか、これらのアカウントは、同じワークフローをDeepSeek（中国の代替オープンウェイトモデルで、ChatGPTのバージョンで訓練された可能性がある）でも確立できるかどうかについて、ChatGPTに質問している様子も見られました。
北朝鮮と関連があると思われる別のアカウント群は、ChatGPTを攻撃的なセキュリティ知見のために、モジュール化された工場のようなアプローチで活用していたようです。各アカウントは、Apple App Store公開用のChrome拡張機能からSafariへの移植、Windows Server VPNの設定、macOS Finder拡張機能の開発など、特定のユースケースの探求にほぼ専念しており、「各アカウントが複数の技術分野にまたがっていたわけではありません」
OpenAIは北朝鮮政府への正式な帰属はしていませんが、そのサービスが同国ではブロックされており、これらのアカウントの行動が北朝鮮の脅威アクターに対するセキュリティコミュニティの理解と「一致している」と指摘しています。
同社はまた、中国と関連する他のアカウント群も特定しており、これらは自社プラットフォームを多用して、世界各国に親中感情を拡散するソーシャルメディア影響工作のコンテンツ生成に利用していました。一部のアカウントは、Spamouflageと呼ばれる中国の類似キャンペーンと緩やかに関連付けられていますが、OpenAIの研究者は正式な関連付けは行っていません。
この活動は「過去の中国発の秘密影響工作と同様の行動特性を共有しており、ハッシュタグや画像、動画の投稿、過去のオペレーションで拡散されたもの、ストック画像をプロフィール写真やデフォルトのSNSハンドルとして使用するなど、特定しやすい特徴がありました」と研究者は述べています。
このキャンペーンがSpamouflageと共通して持つもう一つの特徴は、その効果のなさです。
「ほとんどの投稿やSNSアカウントは、ほとんど、あるいは全くエンゲージメントを得ていませんでした。このネットワークがXやInstagramに投稿した内容への返信やリポストは、同じネットワークの運営者が管理する他のSNSアカウントによるものがほとんどでした」と彼らは付け加えています。
OpenAIのレポートは、AI動画生成ツール「Sora 2」については触れていません。同ツールのディープフェイクや偽情報拡散の能力については、昨年発表された時から長らく懸念されており、リリースから1週間の間に、招待制アプリはすでに現実を歪める恐ろしい可能性を示しています。
拡大するAI駆動型詐欺エコシステムと「二重用途」の効率化
OpenAIはまた、個人の詐欺から「組織犯罪グループと関連している可能性が高い大規模かつ持続的なオペレーター」に至るまで、オンライン詐欺スキームの自動化や強化を目的として自社製品を利用しようとする詐欺師との戦いにも直面しています。
ほとんどの利用は予想通りで、基礎的なリサーチ、フィッシングメールの翻訳、影響工作用コンテンツの作成などです。しかし、OpenAIの調査によれば、国家・非国家アクターの双方が、AIを悪意あるサイバー活動の開発サンドボックスや、業務効率化のための管理ツールとして利用していることが明らかになっています。
ミャンマーに所在すると思われる詐欺センターの一つは、ChatGPTを「詐欺スキームのコンテンツ生成と、日常業務の遂行」の両方に利用していました。例えば、スケジュールの整理、社内アナウンスの作成、従業員のデスクや住居の割り当て、財務管理などです。
他にも、ますます巧妙な方法でツールを活用する例があり、カンボジアの詐欺センターは、偽の企業、経営陣、従業員の「詳細な」経歴を生成し、それらのキャラクターの声でカスタマイズされたSNSメッセージを作成して詐欺をより本物らしく見せていました。場合によっては、同じアカウントが被害者から受け取った返信に対する回答をChatGPTに再度問い合わせており、スキームがある程度成功していたことを示しています。
研究者はまた、興味深い二重用途のダイナミクスも発見しました。詐欺師が利用する一方で、多くのユーザーが遭遇した可能性のある詐欺についてChatGPTに助言を求めているのです。
「毎月数百万回、ChatGPTを使ってオンライン詐欺の特定や回避に役立てている証拠があります。本レポートで取り上げた全ての詐欺オペレーションにおいて、モデルが人々の詐欺特定や適切な安全対策の助言に役立っていることが確認されています」とOpenAIの研究者は主張し、ツールが「詐欺のために使われるよりも、詐欺の特定のために最大3倍多く利用されている」と推定しています。
OpenAIは自社モデルがほぼ全ての「明白に悪意のあるリクエスト」を拒否したと主張しているため、脅威インテリジェンスの専門家は、多くの場合「グレーゾーン」で活動するアカウント群を調査しています。これらは、二重用途であり、厳密には違法でも利用規約違反でもないリクエストをモデルに投げかけています。例えば、ツールのデバッグや暗号化、ブラウザ開発のプロセスは、脅威アクターによって再利用されると「異なる意味合いを持つ」ことがあります。
「私たちが観測した活動は、基本的には無害なリクエストを行い…おそらくはプラットフォーム外で悪用していたと考えられます」と著者らは述べています。
一例として、ロシア語を話すサイバー犯罪者グループがChatGPTを使ってマルウェアの開発・改良を試みましたが、最初のリクエストが拒否されると、「構成要素となるコードの引き出し」に切り替え、それを組み合わせて悪意あるワークフローを構築した可能性があります。
同じアクターは、難読化コードやクライプターパターン、情報流出ツールについてもモデルにリクエストしており、これらはサイバーセキュリティ防御者にも使えるものですが、今回の場合は脅威アクターがロシアのサイバー犯罪者向けTelegramで自分たちの活動について投稿していました。
「これらの出力自体は、プラットフォーム外で脅威アクターによって使われない限り、本質的に悪意のあるものではありません」と著者らは述べています。
翻訳元: https://cyberscoop.com/openai-threat-report-ai-cybercrime-hacking-scams/
