ニューヨーク大学の研究者たちは、プロンプトインジェクションを利用して大規模言語モデルを操作し、ランサムウェア攻撃を支援させるマルウェアを作成したことを第三者の研究者によって発見されたことについて、責任を認めました。
先月、ESETの研究者が「AI搭載型ランサムウェア」の野生での初の発見例として、VirusTotalで見つかったコードを指摘しました。このコードはGolangで書かれており、「PromptLock」という名前が付けられています。また、OpenAIのChatGPTのオープンウェイト版に対し、ファイルシステムの調査、データの持ち出し、身代金要求文の作成など、一連のタスクを実行するよう指示が含まれていました。
ESETの研究者は当時CyberScoopに対し、このコードは未完成、もしくは概念実証（PoC）であるように見えると述べました。同社は、米国のユーザーによってアップロードされたこと以外、マルウェアの出所については追加情報を持っていませんでした。
現在、NYUタンデン工科大学の研究者たちは、このコードをAI搭載マルウェアの潜在的な危険性を示すプロジェクトの一環として作成したことを認めました。
関連する学術論文で、研究者たちはこのプロジェクトを「Ransomware 3.0」と呼び、新しい攻撃手法として説明しています。この手法は「大規模言語モデル（LLM）を利用し、自律的に計画・適応・実行するランサムウェア攻撃ライフサイクルを実現する」と述べています。
「従来のマルウェアとは異なり、このプロトタイプはバイナリに埋め込まれた自然言語プロンプトのみを必要とし、悪意のあるコードは実行時にLLMによって動的に生成され、実行環境に適応したポリモーフィックなバリアントが生まれる」と著者らは書いています。「このシステムは偵察、ペイロード生成、個別化された恐喝を人間の関与なしにクローズドループで実行します。」
NYUの広報担当Leah Schmerl氏によると、このプロジェクトはNYUのRamesh Karri教授と博士課程・ポスドク研究者のチームによって主導されています。この研究はエネルギー省、国立科学財団、ニューヨーク州エンパイア・ステート開発局の科学技術イノベーション部門からの助成金によって資金提供されています。
NYU博士課程の学生で論文の筆頭著者であるMd Raz氏は、チームが最終テスト手順の際にVirusTotalに概念実証をアップロードし、ESETがその学術的な出自を知らずに発見したとCyberScoopに語りました。
Raz氏によると、プロジェクトの主な動機は「ランサムウェアが悪化し、高度な暗号化などの新技術を多用するようになり、同時にAIも大きく進化している」とチームが考えたことにあります。
「その交差点に、まだ野生では発見されていないが非常に示唆に富む脅威があると考え、この脅威が実現可能かどうかを研究することにした」と彼は付け加えました。
Raz氏は、チームがオープンソースソフトウェア、レンタルの汎用ハードウェア、そして「数枚のGPU」を使ってプログラムを構築したと述べました。彼はRansomware 3.0のいくつかの特徴を説明し、LLMの利用が防御側にとって特に検知の面で独自のセキュリティ課題を生むことを解説しました。使用される自然言語プロンプトはポリモーフィックであり、生成されるたびに「完全に異なるコード」になり、実行時間やテレメトリ、その他の特徴も異なるため、複数のインシデントにわたって追跡が非常に困難になる可能性があります。
彼は、攻撃者に悪用されることを懸念し、ランサムウェアの評価に必要な多くのアーティファクト（スクリプト、LLMへのJSONリクエスト、行動シグナルなど）を一般公開していないと述べました。チームは今後のカンファレンスで研究の詳細を発表する予定です。
ESETは後に調査およびSNS投稿を更新し、NYUの研究者がマルウェアを作成したことを明記しましたが、元の調査結果は正しいと主張しました。
「これは、野生で運用されている完全なマルウェアではなく、概念実証であるという我々の見解を裏付けるものです」とPromptLockの詳細を記したCherepanov研究者のブログの更新で同社は述べています。「それでもなお、我々の発見は有効です。発見されたサンプルはAI搭載型ランサムウェアの既知の初の事例です。」
この主張はNYUの研究者も繰り返しており、「我々の知る限り、ターゲットを絞ったペイロードと個別化された恐喝戦術を備えた、完全なクローズドループLLM主導のランサムウェア攻撃を実証し、将来の防御策を促進するための包括的な行動評価を行ったのは初めてです」と書いています。
ただし、ESETの発見とその後の報道によってプロジェクト発表のタイミングが早まったものの、Raz氏は研究チームが予期せぬ注目を浴びたことに不満はないと述べています。
「VirusTotalにバイナリを置いたのはまさに幸運だったと思います」と彼は述べ、コードは目立つように作られておらず、主要なアンチウイルスベンダーすべての検知を回避したと指摘しました。「これまでにない技術だったので、みんなが積極的に話題にし、防御策について議論し始めたのは非常に良いことでした。野生で発見されたと報じられたことで、広く取り上げられました。」
マルウェアが学術的なものであるという点は主張の補足となるかもしれませんが、Ransomware 3.0は、過去1か月間に発表された、LLMが比較的単純なプロンプトで低スキルの脅威アクターによるランサムウェア支援に容易に利用されうることを示す複数の事例の一つです。
先月、Anthropicは同社のClaude LLMを「前例のない規模」で利用し、「個人データの大規模な窃盗と恐喝」を行ったサイバー犯罪者を最近発見したと明らかにしました。脅威インテリジェンスレポートには、NYUやESETが説明するものと類似したClaudeの挙動が記されており、少なくとも17の医療、政府、緊急サービス、宗教団体が標的となっています。
「Claude Codeは偵察の自動化、被害者の認証情報の収集、ネットワークへの侵入に利用されました」とAnthropicのセキュリティ研究者は記しています。「Claudeには、どのデータを持ち出すか、どのように心理的にターゲットを絞った恐喝要求を作成するかといった戦術的・戦略的な意思決定も許可されていました。」
LLMが登場して以来、サイバー犯罪組織がそれらを利用して活動を支援・強化する可能性について懸念がありました。バイデン政権下では、AI企業はサイバー攻撃への悪用やモデルの乗っ取りを防ぐための技術的なガードレールを構築していると政策担当者に強くアピールしてきました。
しかし、過去1年でトランプ政権はAIの安全性を最優先事項としない姿勢を示しています。代わりに、米国のAI企業が中国や他のグローバル競合と市場支配を争えるよう、規制の障壁を取り除くことに注力しています。
その後、OpenAIやxAIなどの企業がリリースした最新のAIモデルは、デフォルトでほとんど安全機能がなく、初歩的なプロンプト攻撃で容易にジェイルブレイクされ、データ漏洩や不正なデータ持ち出し、その他一般的な脆弱性を防ぐにはフロントエンドで専用のセキュリティプロンプトが必要であることが研究者によって明らかになっています。
翻訳元: https://cyberscoop.com/ai-ransomware-promptlock-nyu-behind-code-discovered-by-security-researchers/