AI支援による「バイブハッキング」を実践で検証

攻撃者は大規模言語モデル（LLM）を活用して攻撃ワークフローを強化するケースが増えていますが、悪意あるスクリプト作成を支援する進歩があったとはいえ、これらのツールは平凡なサイバー犯罪者をエクスプロイト開発者へと変える準備はまだできていません。

Forescoutの研究者によるテストによると、LLMはコーディング、特に自然言語プロンプトを使ってアプリケーションを生成するバイブコーディングにおいてはかなり優秀になってきていますが、「バイブハッキング」に関してはまだ十分な能力を持っていません。

Forescoutが商用AI企業の安全制限付きモデルと、セーフガードが解除されたオープンソースモデルの両方を含む50以上のLLMをテストしたところ、脆弱性研究とエクスプロイト開発の両タスクで高い失敗率が明らかになりました。

「モデルがエクスプロイト開発タスクを完了した場合でも、かなりのユーザーによる指示や、実行可能なエクスプロイトパスへの手動誘導が必要でした」と研究者は述べています。「自律的に完全に機能するエクスプロイトを生成できるLLMには、まだほど遠い状況です。」

しかし、多くのLLMは急速に進化していると研究者は警告しており、3か月間のテスト期間中にその傾向が見られました。2月のテストで失敗したタスクが、4月にはより実現可能になり、最新の推論モデルは従来のLLMを一貫して上回りました。

複数のアクションやツールを連鎖的に実行できるエージェント型AIの台頭により、デバッグやツールの統合、フィードバックのワークフローへの反映が必要なエクスプロイト開発のような複雑なタスクにおいて、AIが現在直面している障壁は今後減少する可能性があります。

このようなことから、研究者たちは「AIは脅威アクターによる脆弱性発見やエクスプロイト開発の方法を完全に変革してはいないものの、『バイブハッキング』の時代は近づいており、防御側は今から備えを始めるべきだ」と結論付けています。

これは、今年初めに他のセキュリティ研究者やペネトレーションテスターがCSOに語った、AIがゼロデイ脆弱性とエクスプロイトのエコシステムに与える影響についての意見とも一致しています。

機会主義的な攻撃者のシミュレーション

脆弱性研究に豊富な経験を持つ攻撃者や研究者にとっては、LLMは作業の一部を自動化するのに有用ですが、それはモデルを導き、誤りを修正する知識があるからこそです。

同じことをしようとする大半のサイバー犯罪者は、OpenAI、Google、Anthropicなどの汎用AIモデルや、WormGPT、WolfGPT、FraudGPT、LoopGPT、DarkGPT、DarkBert、PoisonGPT、EvilGPT、EvilAI、GhostGPTなど、アンダーグラウンドマーケットで宣伝されている多くの非検閲・脱獄モデルを使っても、同様にはうまくいかないでしょう。

Forescoutの研究者は、機会主義的な攻撃者が「このコードに脆弱性を見つけて」「次のコードのエクスプロイトを書いて」といった基本的なプロンプトから、主に正確な結果を得たいと考えるだろうという前提でテストを行いました。

研究者たちは、米国国家情報長官室のIntelligence Advanced Research Projects Activity（IARPA）プログラムが公開しているSTONESOUPデータセットから2つの脆弱性研究タスクを選びました。1つは、シンプルなTFTPサーバーのCコードにおけるバッファオーバーフロー脆弱性、もう1つは、同じくCで書かれたサーバーサイドアプリケーションのより複雑なヌルポインタ参照脆弱性です。

エクスプロイト開発については、研究者たちはIO NetGarageワーゲームから2つのチャレンジを選びました。1つはスタックオーバーフロー脆弱性に対する任意コード実行エクスプロイトを作成するレベル5の課題、もう1つはメモリ情報漏洩を伴うコード実行エクスプロイトのレベル9の課題です。

「正式なプロンプトエンジニアリング手法には従いませんでしたが、すべてのプロンプトは手動で作成され、初期のエラーに基づいて反復的に修正されました」と研究者は記しています。「インコンテキスト例は含まれていません。そのため、テストは厳密に行いましたが、各LLMの本来の潜在能力を反映していない可能性があります。高度な手法を使えばさらなる改善も可能かもしれませんが、それは目的ではありませんでした。私たちは、機会主義的な攻撃者が最小限の調整や最適化で現実的に達成できることを評価することに注力しました。」

期待外れの結果

各LLMテストでは、応答のばらつきを考慮して各タスクプロンプトを5回繰り返しました。エクスプロイト開発タスクでは、最初のタスクに失敗したモデルは、より複雑な2つ目のタスクには進めませんでした。チームは、サイバーセキュリティタスク向けにトレーニングされ、かつ脱獄または非検閲状態のHugging Faceのオープンソースモデル16種、サイバー犯罪フォーラムやTelegramチャットで攻撃目的で共有されたモデル23種、商用モデル18種をテストしました。

オープンソースモデルは全タスクで最も成績が悪く、推論モデル2つだけが脆弱性研究タスクの1つに部分的に正しい応答を返しましたが、これらも2つ目のより複雑な研究タスクや最初のエクスプロイト開発タスクには失敗しました。

研究者が収集した23のアンダーグラウンドモデルのうち、TelegramボットやWebベースのチャットインターフェースで正常にテストできたのは11モデルのみでした。これらはオープンソースモデルより良い結果を返しましたが、Telegramメッセージが4096文字に制限されているため、コンテキスト長の問題に直面しました。また、応答には偽陽性や偽陰性が多く、プロンプト間でコンテキストが失われたり、1日あたりのプロンプト数に制限があったりして、特にトラブルシューティングやフィードバックループが必要なエクスプロイト開発タスクには実用的ではありませんでした。

「WebベースのモデルはすべてED1（エクスプロイト開発タスク1）に成功しましたが、一部は過度に複雑な手法を用いました」と研究者は述べています。「WeaponizedGPTが最も効率的で、わずか2回の反復で動作するエクスプロイトを生成しました。FlowGPTモデルはコードフォーマットで再び苦戦し、使い勝手を損ねました。ED2では、ED1をクリアしたすべてのモデル（3つのFlowGPTバリアント、WeaponizedGPT、WormGPT 5を含む）がタスクを完全に解決できませんでした。」

残りの12のアンダーグラウンドモデルにはアクセスできませんでした。理由は、放棄されていた、販売者が無料デモを提供しなかった、または無料デモの結果が高額な追加プロンプト送信料を払うほど良くなかったためです。

商用LLM（ハッキング特化型・汎用型ともに）は、特に最初の脆弱性研究タスクで最も良い成績を収めましたが、一部は幻覚（誤った情報生成）も見られました。ChatGPT o4とDeepSeek R1（いずれも推論モデル）が最良の結果を出し、無料版と有料版があるPentestGPTも同様でした。PentestGPTは、最初のエクスプロイト開発タスクで動作するエクスプロイトを作成できた唯一のハッキング特化型商用モデルでした。

合計で9つの商用モデルがED1に成功しましたが、DeepSeek V3はデバッグ不要で最初の試行で動作するエクスプロイトを作成でき、特に優れていました。DeepSeek V3は、Gemini Pro 2.5 ExperimentalとChatGPT o3-mini-highとともに、ED2も成功させた3つのモデルの1つでした。

「現代のエクスプロイトは、今回テストした制御された課題よりも高いスキルを要求することが多い」と研究者は指摘しています。「商用LLMの多くがED1、少数がED2に成功したものの、いくつかの繰り返し発生する問題が現行LLMの限界を露呈しました。たとえば、root権限を得る前にASLRを無効化するなど非現実的なコマンドを提案したり、基本的な算数ができなかったり、誤ったアプローチに固執したりしました。他にも、処理が停止したり、応答が不完全だったりすることがあり、特にマルチステップ推論が求められる場合は、負荷分散やコンテキストの喪失が原因でした。」

LLMは現時点で大半の脆弱性ハンター志望者には役立たず

Forescoutの研究者は、LLMが脆弱性研究やエクスプロイト開発への参入障壁を下げたとはまだ考えていません。現行モデルには初心者サイバー犯罪者が克服できないほど多くの問題があるためです。

サイバー犯罪フォーラムの議論を調査したところ、LLMに対する熱意は主に経験の浅い攻撃者から出ており、ベテランはこうしたツールの有用性に懐疑的な見方を示していました。

しかし、エージェント型AIの進化や推論モデルの改善によって、この状況は近い将来変わる可能性があります。企業は、ディフェンス・イン・デプス（多層防御）、最小権限、ネットワーク分離、サイバーハイジーン、ゼロトラストアクセスなど、サイバーセキュリティの基本を引き続き実践しなければなりません。

「もしAIが攻撃開始の障壁を下げれば、攻撃の頻度は増加するかもしれませんが、必ずしも高度化するとは限りません」と研究者は推測しています。「防御戦略を再発明するのではなく、組織はそれらをより動的かつ効果的にすべての環境で徹底することに注力すべきです。重要なのは、AIは脅威であるだけでなく、防御側にとっても強力なツールであるということです。」