OpenAIは、AIモデルを使って個人やソーシャルメディアアカウントを監視しようとした中国政府関係者とみられるChatGPTアカウントを禁止しました。
本日公開された最新の脅威レポート [PDF] によると、この生成AI大手は、これらのユーザーが通常、ChatGPTに大規模な監視や分析のためのツール設計を依頼していたものの、実際の監視活動の実行までは依頼していなかったと述べています。
「これらのケースで私たちが目にし、禁止したのは、脅威行為者がChatGPTにAIを活用したツールの計画やドキュメント作成を依頼することがほとんどでしたが、その実装までは求めていませんでした」と、OpenAIのインテリジェンス＆インベスティゲーションチームの主任調査員ベン・ニモ氏は記者団に語りました。
現在は禁止されたあるユーザーは、中国からVPNを使ってAIサービスにアクセスしていたと疑われており、ChatGPTに「プローブ」と呼ばれるソーシャルメディアリスニングツールの宣伝資料やプロジェクト計画の設計を依頼していました。このツールは、X、Facebook、Instagram、Reddit、TikTok、YouTube上の過激な発言や、民族・宗教・政治的内容をスキャンできると説明されていました。
このユーザーは、政府のクライアントがこのスキャンツールを求めていると主張していましたが、モデルを使って実際にソーシャルメディアを監視することまではしませんでした。OpenAIは、中国政府が最終的にこのようなツールを使用したかどうかは確認できないとしています。
他の2件では、同社は中国政府を批判するXアカウントの資金源を特定するようChatGPTに依頼したユーザーと、モンゴルで請願運動の主催者を特定するよう依頼した別のユーザーを禁止しました。
いずれのケースでも、OpenAIのモデルは公開されている情報のみを提供し、身元や資金源、その他の機密情報は提供しなかったとされています。
「このようなケースは限定的なスナップショットに過ぎませんが、権威主義体制が将来AIの能力をどのように悪用するかについて重要な洞察を与えてくれます」とニモ氏は述べました。「これらは進むべき方向性を示唆していますが、同時に最終的な到達点は別の場所かもしれないとも示しています。」
OpenAIは、2024年2月に脅威レポートの作成を開始して以来、利用規約に違反した40以上のネットワークを禁止したと述べています。
また、それ以降、AIを悪用しようとする脅威グループや個人は、既存の手法を改善するためにモデルを利用しており、まったく新しいサイバー攻撃やワークフローの開発には至っていないようです。OpenAIの幹部によれば、現時点でもその傾向は続いているとのことです。
しかし最近では、妨害されたアカウントの中には、複数のAIモデルを使って悪意ある目的を達成しようとするものも見受けられます。
「例えば、我々が調査した中国関連のクラスターの一つは、ChatGPTを使ってフィッシングの誘導文を作成し、さらに別のモデルであるDeepSeekを使って大量ターゲティングの自動化を試みていました」と、OpenAIの脅威インテリジェンスチームを率いるマイケル・フロスマン氏は述べました。
同様に、疑わしいロシア関連アカウントの一群（現在は禁止済み）は、ChatGPTを使って「Stop News」と呼ばれる影響工作のための動画プロンプトを作成し、その後、他社のAIツールを使って動画を制作し、YouTubeやTikTokに投稿していました。
OpenAIは、このグループがどのモデルを使用したかを独自に確認することはできませんでした。
「敵対者たちは、わずかな速度や自動化の向上を求めて、複数のAIツールを使い分けるのが常態化しています」とフロスマン氏は述べました。
ロシア発とみられるモデル悪用の別の例では、ChatGPTにマルウェアの開発や改良、リモートアクセス型トロイの木馬や認証情報窃取ツール、検知回避機能の追加などを依頼したアカウントが禁止されました。同社は次のように記しています：
これらのアカウントはロシア語を話す犯罪グループと関連しているとみられ、脅威インテリジェンスチームは、特定の犯罪組織とつながるTelegramチャンネルで活動内容が投稿されているのを確認しました。OpenAIの幹部は、マルウェア作成活動を特定のサイバー犯罪グループに帰属させることは控えましたが、「背後にいる人物について中〜高程度の確信がある」と述べています。®
翻訳元: https://go.theregister.com/feed/www.theregister.com/2025/10/07/openai_bans_suspected_china_accounts/
