あるハッカーが、AIの脱獄手法を攻撃用プラットフォームへと転用

あるロシア語圏の起業家気質のハッカーが、今年の一部の期間を費やして脱獄(ジェイルブレイク)を行い、一般公開されている最先端の大規模言語モデル(LLM)を有料の攻撃的サイバー犯罪ツールへと作り変えていたことが、研究者らの調査で明らかになりました。

「Trim」として知られるこのサイバー犯罪者は、3月下旬にアンダーグラウンドフォーラムで脱獄手法を公開したことで活動を開始しました。そして最終的には、それらを「完全に製品化され、商業的に販売されるAI搭載型ペネトレーションテスト・プラットフォーム」へと発展させたと、Cato NetworksのCato CTRLの研究者らが本日公開したレポートで明らかにしました。

このレポートによれば、今回の活動は、人工知能(AI)モデルそのものが、サイバー犯罪者にとって攻撃対象領域の一部となってしまった実態を改めて浮き彫りにしています。さらに、他の悪意ある攻撃者たちもこのAIモデル兵器化の手法を模倣し始めており、セキュリティ上のリスクを一段と高めています。

レポートによると、「Trimは悪用すべき脆弱性を必要としなかった。彼はただ、市販されている強力なモデルを選び、正しい話しかけ方を見出しただけで、それらを武器へと変えてしまった」ということです。

Trimが詳述した6つのAI脱獄手法

Cato CTRLがこの活動を発見したのは、3月31日にロシア語のサイバー犯罪フォーラムに「Trim」というハンドルネームの新規アカウントが出現したことがきっかけでした。この攻撃者は自己紹介を行った後、Anthropic社のClaude Opusの安全フィルターを回避するための「AI脱獄に関する非常に詳細なガイド」を投稿し、6つの命名された手法を提示しました。レポートによると、これらの手法はモデルがユーザーの意図や文脈をどう解釈するかを操作することに主眼を置いており、悪意あるリクエストを正当あるいは無害なものとしてAIに認識させることを狙いとしていました。

1つ目の手法「Context Warming(コンテキスト・ウォーミング)」は、まず正当に見えるセキュリティやコーディングに関するリクエストから始めて信頼を築き、その後に悪意あるプロンプトを持ち込むというものです。2つ目の「Black Box Principle(ブラックボックス原則)」は、AIに対して意図ではなくコードの構造のみを分析するよう指示することで、安全性チェックの回避を試みるものです。

Trimが説明した3つ目の手法「Ghost Reset(ゴースト・リセット)」は、拒否された後に新しいチャットを開始し、前のセッションが中断されたと主張してリクエストを言い換えるというものです。一方、「Model Cascading(モデル・カスケーディング)」は、あるモデルが要求への対応を拒否した場合に別のAIモデルへと切り替える手法で、各モデルの安全ガードレールの違いを突くものです。

「Local Uncensored Models(ローカル無検閲モデル)」は、商用モデルがリクエストをブロックした場合に、安全制限がほとんど、あるいはまったく存在しない自己ホスト型・ローカル実行型のAIモデルを利用する手法です。そして最後の脱獄手法「Gray-Market API Access(グレーマーケットAPIアクセス)」は、アンダーグラウンドの再販業者から低価格のAPIキーを入手し、正規の手続きを経ずに商用のAIモデルにアクセスするというものです。

手法のマネタイズ

当初、Trimはこの脱獄手法をビジネス化してはいませんでした。しかし、脱獄手法を公開してからおよそ3か月後、この攻撃者はフォーラムに戻り、「AI Pentest Checker」を立ち上げました。これは複数のAIモデルと一連の攻撃的セキュリティツール群を統合した自動Web脆弱性スキャン・プラットフォームで、偵察、脆弱性検証、エクスプロイトのレポート作成、PDFレポート生成までを自動化するものです。

レポートによると、このプラットフォームは、漏洩したとされるClaude Fable 5の設定情報から派生したとみられる改変版システムプロンプトに依存しており、AI支援による脆弱性のエスカレーション精度を高めています。これは攻撃用ツールの「重大なエスカレーション」だとされています。

レポートでは、「Mythosクラスの能力が、APIへの直接アクセスであれ、キーの再販業者を介してであれ、あるいは漏洩した設定情報を通じてであれ拡散していくにつれ、その上に構築される攻撃用ツールもまた、洗練度とアクセスのしやすさを増していくだろう」と指摘しています。

脱獄が攻撃へと変貌する

実際、以前から存在してきた脱獄手法が、AIモデルのガードレールを突破することだけで話が終わるわけではないことを、この調査結果は示していると、Cato Networksの脅威インテリジェンス担当バイスプレジデントであるEtay Maor氏はDark Reading の取材に対して語っています。同氏によれば、脱獄手法は今や、AIが関わる他の悪意ある活動の手段そのものへと変わりつつあるといいます。

同氏は「Trimによる今回のサービス提供は、脅威アクターによるAI利用に関する3つの主要な懸念を浮き彫りにしている」と述べています。その懸念とは、「分析・開発・展開を行えるスピード、それを実行できる規模、そしてかつては高度に洗練された集団や国家しか手にできなかったツールや能力に、今や誰もがアクセスできるようになっているという点だ」とMaor氏は語り、最後の点については「個人的に最も懸念している側面だ」と付け加えています。

Trimが攻撃的な知見を再現可能なサービスへとこれほど迅速に転換した点も際立っていると、アプリケーションセキュリティ企業Detectifyの最高経営責任者(CEO)であるRickard Carlsson氏はDark Reading に語っています。これは全体として、「AIが実験から実運用へ移行するまでに必要な時間と専門知識を減らすことで、サイバー攻撃の経済性そのものを変えつつある」ことを示していると同氏は述べています。Carlsson氏は「より大きな問題は、既存の手法がより速く拡大し、はるかに広範な攻撃者層にとって利用しやすくなってしまうという点だ」と語っています。

防御側はどう対応すべきか

実際、脱獄手法の共有からAI支援型攻撃プラットフォームの商業化へと至る急速な進展は、脅威アクターがいかに素早く生成AIを収益化できるかを浮き彫りにしています。Carlsson氏は、「基本原則は変わらない」としながらも、これに対応するために防御側もやり方を変える必要があると述べています。

同氏は「攻撃者には依然として、露出した資産、弱点、そして価値あるものへ至る経路が必要だ」と語ります。しかし、Trimの活動が変えたのは「そうした経路を発見し、再訪する際の速度と量」だとし、これによって可視性がセキュリティにとって不可欠な要素になっていくとCarlsson氏は指摘しています。

同氏は「セキュリティチームはもはや、放棄されたサービスや忘れられたサブドメイン、あるいは一時的な露出が、次のセキュリティレビューまで誰にも気づかれないままでいられるとは考えられなくなっている」と述べます。「AIが発見のスピードを加速させる中、組織は、インターネットに公開されている資産が何であり、それらが現実に悪用可能なリスクを孕んでいるかどうかについて、継続的に更新される把握力を持つ必要がある」ということです。

今回の調査結果は検知のあり方も変えるものです。Cato社のMaor氏は、個々の不審なリクエストではなく、行動のシーケンスや偵察活動の初期段階を軸に検知の仕組みを構築するよう組織に推奨しています。同氏は「以前はスキャン行為自体がノイズとして目立っていたが、今では個々のリクエストは一見それほど警戒すべきものには見えなくなっている」と説明します。「しかし、攻撃を構成する一連のシーケンスは依然として存在しており、複数のステップにまたがるトリアージこそが鍵となるため、可視性がこうした攻撃を検知する上で重要になる」ということです。