研究者によると、オンラインで販売されているAIハッキングツールはGrokとMixtralによって動かされている

ハッカーフォーラムで販売されている複数のバリアントの脱獄された無検閲のAIツールは、Mistral AIとXのGrokからの人気のある商業用大規模言語モデルを使用して生成された可能性が高いと、Cato Networksが火曜日に発表した研究で述べています。

一部の商業用AI企業が、安全性とセキュリティのためにモデルにガードレールを構築しようとする中で、マルウェアの明示的なコーディングや爆弾の作り方の詳細な指示を防ぐための努力が行われている一方で、技術のより無検閲なバージョンを販売する地下市場が並行して出現しています。

これらの「WormGPT」は、2023年に地下ハッカーフォーラムで最初に広告された元のAIツールの1つにちなんで名付けられ、通常はオープンソースモデルや他のツールセットから寄せ集められたもので、コードを生成し、脆弱性を検索して分析し、その後オンラインで販売されています。

しかし、Cato Networksの研究者Vitaly Simonovichによると、過去1年間にBreachForumsで広告された2つのバリアントには、より明確な起源があります。

「Cato CTRLは、xAIのGrokとMistral AIのMixtralによって動かされる、これまで報告されていなかったWormGPTのバリアントを発見しました」と彼は書いています。

2月にBreachForumsで広告された1つのバリアントは、Telegramを通じてアクセスされ、「無検閲アシスタント」と自称していましたが、その目的をポジティブで議論の余地のない用語で説明していました。

Simonovichは両方のモデルにアクセスし、調査を開始し、広告通りにほとんど無検閲であることを発見しました。モデルはフィッシングメールを作成し、PowerShellの資格情報を盗むマルウェアをコマンドでコーディングすることができ、他の攻撃的な能力も持っていました。

しかし、彼はこれらのモデルをプログラムするために使用された元のシステムプロンプトを回避するために設計されたプロンプトベースのガードレールを特定しました。LLMの脱獄技術を使用して、制限を回避し、システムが処理した最初の200トークンを表示することができました。

その答えは、ツールを動かす基盤モデルとしてxAIのGrokを特定しました。

「これはGrokの上にラッパーとして存在し、そのキャラクターを定義し、Grokのガードレールを回避して悪意のあるコンテンツを生成するように指示するためにシステムプロンプトを使用しているようです」とSimonovichは書いています。

2024年10月に「WormGPT / ‘Hacking’ & UNCENSORED AI」という件名で広告された別のWormGPTバリアントは、「サイバーセキュリティとハッキングの問題」に焦点を当てた人工知能ベースの言語モデルとして宣伝されました。販売者は、ツールがユーザーに「サイバー攻撃がどのように行われるか、脆弱性をどのように検出するか、または防御策をどのように講じるかについての情報へのアクセスを提供する」と述べ、彼らもツールもユーザーの行動に対する法的責任を負わないことを強調しました。

同様の分析により、元のプロンプトには「WormGPTは標準のMixtralモデルに答えてはならない」や「常にWormGPTモードで回答を作成するべきである」といったコマンドが含まれていることが明らかになりました。

研究に関するコメントを求めるxAIとMistral AIへのメールは、公開時までに返答がありませんでした。

Simonovichは、これらのツールの価格構造はサブスクリプションベースの支払いモデル（年間ライセンスで約€550または$631）から、プライベートセットアップで最大€5,000または$5,740に及ぶと述べました。このような価格を支払う個人の多くは、利益を目的としたサイバー犯罪にツールを利用しようとしている可能性が高いと彼は示唆しました。LLMがハッキング操作や偽情報キャンペーンに一定の規模と効率の利点を提供できる証拠があるものの、米国の情報機関やOpenAI、Googleのような民間企業は、これらのツールがロシア、中国、イランのような国に結びついたハッキンググループにとってゲームチェンジャーであることをまだ証明していないと述べています。