LLMは脆弱性の発見と悪用で依然として力不足

大規模言語モデル（LLM）は、脆弱性の発見および悪用のタスクを実行するうえで、依然として十分な性能に達していません。

そのため、多くの脅威アクターは、こうした役割にAIツールを用いることに懐疑的なままです。

これは、Forescout Research – Vedere Labsによる新たな研究によるものです。同研究では、商用、オープンソース、地下（アンダーグラウンド）由来の最新AIモデル50種をテストし、脆弱性リサーチ（VR）とエクスプロイト開発（ED）を実行する能力を評価しました。

VRタスクは、短いコードスニペットの中から特定の脆弱性を特定することを目的としていました。EDタスクは、脆弱なバイナリに対して動作するエクスプロイトを生成することを狙いました。

すべてのモデルで失敗率は高く、最初のVRタスクでは約半数（48%）が失敗し、2つ目では55%が失敗しました。最初のEDタスクでは約3分の2（66%）が失敗し、2つ目では93%が失敗しました。

すべてのタスクを完了したモデルは1つもありませんでした。

多くのモデルは不安定で、実行ごとに結果が一貫しないことが多く、時折タイムアウトやエラーにも遭遇しました。いくつかのEDケースでは、動作するエクスプロイトの生成に、数時間にわたる複数回の試行が必要でした。

モデルがEDタスクを完了できた場合でも、エラーの解釈、出力のデバッグ、実行可能な悪用経路へモデルを手動で誘導する、といった相当量のユーザーガイダンスが必要でした。

研究者らは「LLMが自律的に完全に機能するエクスプロイトを生成できるようになるには、まだ程遠い」と指摘しています。

サイバー犯罪者はAIの能力に依然として懐疑的

7月10日に公開されたこの研究では、サイバー犯罪コミュニティがAIの可能性をどう見ているかを把握するため、複数の地下フォーラムも分析しました。

経験豊富な脅威アクターは懐疑的または慎重な姿勢を示す傾向があり、コメントの多くはLLMの現時点での有用性を低く見積もるものでした。

AI支援による悪用に対する熱意は、経験の浅いユーザーから示される傾向がありました。

研究者らは「最近、LLMは驚くほど上手にコードを書けるという主張がある一方で、実際の脅威アクターがそれらを用いて新たな脆弱性を確実に発見し悪用しているという明確な証拠は、依然として存在しない」と記しました。

ただし、多くの脅威アクターは、定型コードの生成やその他の基本的なソフトウェア自動化タスクなど、一定の技術支援を行ううえでLLMが有効である点は強調していました。

Forescoutの研究では、オープンソースモデルがVRおよびEDにおいて最も信頼性が低く、テストした16モデルすべてが全タスクで低い成績だったことが分かりました。

これらのモデルは、コミュニティ向けに数千の事前学習済みAIモデルを提供するHuggingFaceプラットフォームで入手可能でした。

研究者らは「総じて、このカテゴリは基本的な脆弱性リサーチにすら不向きなままだ」と述べています。

地下モデルは、ダークウェブのフォーラムやTelegramチャンネルで悪用目的に合わせて微調整されています。これには、WormGPTやGhostGPTのように、公開されているモデルを基に開発されたカスタムツールが含まれます。

これらはオープンソースモデルよりは良好な性能を示したものの、アクセスの制限、不安定な挙動、出力フォーマットの不備、コンテキスト長の制約といった使い勝手の問題に阻まれていました。

ChatGPT、Gemini、Copilotなど主要テックプロバイダーの汎用商用モデルは最も良い性能を示しましたが、アラインメント（安全対策）による制限が時折見られました。このカテゴリでも、最も難しいテストケースで動作するエクスプロイトの生成に成功したのは3モデルのみでした。

こうした結果にもかかわらず、研究では、3か月のテスト期間の間に生成AIがVRとEDの両方で急速な改善を示したことが観察されました。

研究者らは「これらの結果は、生成AIが脅威アクターによる脆弱性の発見と悪用の方法をまだ変革していないことを示唆するが、それはまもなく変わるかもしれない。“vibe hacking”の時代が近づいており、防御側は今から準備を始めるべきだ」と付け加えました。

Forescoutは、AIによってエクスプロイトはより頻繁になる可能性が高い一方で、より高度になるわけではないと述べました。そのため、最小権限、ネットワークセグメンテーション、ゼロトラストといった中核的なサイバーセキュリティ対策は、こうした攻撃の緩和において引き続き同様に重要です。