「ダークLLM」は小規模な犯罪者を支援するが、技術的には期待外れ

出典：Palo Alto Networks Unit 42

人工知能によって生成されたマルウェアは、いまだに誰もが恐れていたほどの脅威にはなっていませんが、実際にスクリプトキディや外国語話者がサイバー攻撃の問題点を解消するのに役立っています。

2022年11月30日、サンフランシスコの開発者たちは、グーグル検索やロバート・フロストのような詩を一瞬で書けるチャットボットをリリースしました。これは人々の想像力をかき立てました。サイバーセキュリティ業界の多くの人々にとって、その意味は明白でした：まもなく大規模言語モデル（LLM）がマルウェアを書き、悪意ある攻撃者のために自律的なサイバー攻撃を実行できるようになるだろうと。そして、ディストピア的なSFの未来はすでに到来していると主張する声もありました。

3年が経過した今、状況を見直すのに良い時期かもしれません。Palo Alto NetworksのUnit 42は新しいブログ記事で、現在市場に出回っている主要な「ダーク」LLMの2つ、WormGPT 4とKawaiiGPTをレビューしています。WormGPT 4とKawaiiGPTの際立った点は、低レベルのハッカーにとってどれほど有用かということと、それ以外の面ではまったく無力であるということです。どちらも初歩的なマルウェアや、言語の壁を越えて活動するハッカー向けの文法的に正しいフィッシングメールを作成でき、攻撃チェーンのさまざまな段階でスクリプトキディを支援します。しかし、それがほぼ全てです。

ダークLLMがサイバー犯罪者にもたらすもの

2023年夏、マルウェア・アズ・ア・サービス（MaaS）製品がアンダーグラウンド市場に登場したとき、AIによるサイバー黙示録の予言がすべて現実になったかのように思われました。その名はWormGPT。

WormGPTは、ハッカーがChatGPTで悪さをしようとしたときに引っかかる厄介なガードレールが一切ない、最先端のチャットボットとして宣伝されていました。オープンソースのLLMであるGPT-J 6Bを使用し、フィッシング、マルウェア、エクスプロイトのサンプルで訓練されたとされています。月額数十ドルから数百ドルで、サイバー犯罪者はWormGPTを使って基本的な悪意あるコードの断片を書いたり、きれいで説得力のあるフィッシングメッセージを作成したりできました。

しかし、WormGPTが実際の悪意ある活動に大きな影響を与えたという証拠はほとんどありません。しかし、概念実証（PoC）としてはサイバーセキュリティ業界を十分に警戒させ、サイバーアンダーグラウンドでさまざまな模倣品を生み出しました。中でも最も注目されたのがWormGPT 4です。

精神的な前身と同様に、WormGPT 4は「境界のないAI」として宣伝されており、「あらゆるコンテンツを生成し、制限や検閲なしに情報へアクセスできる高度な機能」を備えています。Unit 42の研究者がWormGPT 4にランサムウェア攻撃に使えるリソースを尋ねたところ、陳腐ながらも文法的に完璧な身代金要求文と、PDFファイル用のロッカー（他のファイル拡張子にも対応可能で、Torを使ってデータを流出させることもできる）を生成しました。

研究者たちはまた、WormGPT 4の競合であるKawaiiGPTもテストしました。KawaiiGPTは、そっけないながらも適切なフィッシングメッセージや身代金要求文、データ流出用のシンプルだが機能的なPythonスクリプトを作成しました。また、Linuxホスト上でのラテラルムーブメントも実行可能でした。

ダークLLMは実際にサイバー犯罪に影響を与えているのか？

KawaiiGPTは無料で利用でき、初心者ハッカーが攻撃チェーンの各段階を進めるのを支援する能力があるため、控えめながらも一定の支持を得ています。180人が参加するTelegramチャンネルで、KawaiiGPTの開発者はツールの登録ユーザーが500人を超え、そのうち約半数がアクティブだと主張しました。

一方、WormGPT 4は階層型サブスクリプションモデルで販売されていますが、そのTelegramコミュニティは500人以上の購読者を持ち、より大きい規模です。

Check Pointのチーフテクノロジスト兼製品脆弱性リサーチ責任者であるOded Vanunu氏は、こうしたダークLLMの市場はある意味で繁栄していると指摘します。

「ハッカーたちは積極的に競争し、WormGPTのような前身を基にしたツールを開発しています。商用のダークLLMは金銭で販売され、熟練した攻撃者は独自モデルを構築し、設定手法を使って自分たちのローカルインフラに直接統合し、商用市場を完全に回避しています。市場は商用とプライベート開発の両方が存在しています。」

これらの事実は、ダークLLMが今日のサイバー脅威の状況に実際に影響を与えていることを示唆しているかもしれません。しかし、3年経った今でも、研究者たちはそれを証明する確固たる証拠を欠いているようです。「ダークLLMが広く採用されているかどうかを追跡するのはほぼ不可能です」とUnit 42の脅威インテリジェンス担当シニアディレクター、Andy Piazza氏は認めています。なぜなら、研究者たちはAIが悪意ある成果物に関与していることを検出するための必要なツールを持っていないからです。例外は、攻撃者が自ら手の内を明かした稀なケースだけです。

AIマルウェアは依然として無力

低レベルのハッカーにとって有用である一方で、WormGPT 4とKawaiiGPTのもう一つの特徴は、少なくともメディアで予想されていたAIマルウェアと比べて、技術的にはいかに期待外れであるかという点です。

Unit 42の脅威リサーチディレクター、Kyle Wilhoit氏は、これらのツールが遅れを取っている理由をいくつか挙げています。「LLMは依然として幻覚を起こし、もっともらしく見えるが事実と異なるコードを生成します」と彼は例を挙げます。「完全に機能するマルウェアサンプルを作成するために必要な抽象的な知識は、ダークLLMにとって構築が難しいのです。また、幻覚をチェックしたり、ネットワークの特殊性に適応したりするためには、依然として人間の監督が必要だと思います。」

結論として、Vanunu氏は「進歩が遅いのは、AIが現時点でサイバー攻撃プロセスの根本的な仕組みに新たな技術的ギャップや優位性をもたらしていないからだ」と述べています。使い古されたマルウェアの手口や陳腐な身代金要求文からも明らかなように、今日最も人気のあるダークLLMは、いまだにWeb上に存在するアーティファクトを模倣しているだけで、状況を変えるような新しい成果物を生み出しているわけではありません。

幸いなことに、AIマルウェア対AI防御という話題は時期尚早だったということです。「現実には、ダークLLMが生成したマルウェアの大半は既知のマルウェアサンプルに基づいているため、既存のツールやシグネチャで一般的なマルウェア手法を検出できます」とPiazza氏は述べています。