LLMは脆弱性の発見と悪用において期待外れ

大規模言語モデル（LLM）は、脆弱性の発見や悪用のタスクを実行する上で、依然として期待に応えられていません。

そのため、多くの脅威アクターは、こうした役割でAIツールを使用することに懐疑的なままです。

これは、Forescout Research – Vedere Labsによる新たな調査によるもので、商用、オープンソース、アンダーグラウンドの50の最新AIモデルをテストし、脆弱性リサーチ（VR）とエクスプロイト開発（ED）の能力を評価しました。

VRタスクは、短いコードスニペット内の特定の脆弱性を特定することを目的としています。EDタスクは、脆弱なバイナリに対して動作するエクスプロイトを生成することを目指しました。

すべてのモデルで失敗率が高くなりました。約半数（48%）が最初のVRタスクに失敗し、55%が2回目に失敗しました。約3分の2（66%）が最初のEDタスクに失敗し、93%が2回目に失敗しました。

すべてのタスクを完了したモデルはありませんでした。

ほとんどのモデルは不安定で、実行ごとに一貫性のない結果を出すことが多く、時にはタイムアウトやエラーが発生しました。いくつかのEDケースでは、動作するエクスプロイトを生成するのに数時間かけて複数回試行する必要がありました。

モデルがEDタスクを完了した場合でも、エラーの解釈や出力のデバッグ、または実行可能な悪用経路への手動誘導など、かなりのユーザーによる指示が必要でした。

「自律的に完全に機能するエクスプロイトを生成できるLLMには、まだほど遠い」と研究者は述べています。

サイバー犯罪者はAIの能力に懐疑的なまま

7月10日に発表されたこの調査では、アンダーグラウンドフォーラムも分析し、サイバー犯罪コミュニティがAIの可能性をどう見ているかを調査しました。

経験豊富な脅威アクターは懐疑的または慎重な姿勢を示す傾向があり、多くのコメントで現時点でのLLMの有用性を過小評価していました。

AIによる悪用支援への熱意は、経験の浅いユーザーから多く見られました。

「LLMが驚くほど上手にコードを書けるという最近の主張にもかかわらず、実際の脅威アクターが新たな脆弱性を確実に発見・悪用するためにLLMを使用している明確な証拠はまだない」と研究者は記しています。

多くの脅威アクターは、LLMが定型コードの生成やその他の基本的なソフトウェア自動化タスクなど、いくつかの技術的な支援に効果的であることは強調していました。

Forescoutの調査によると、オープンソースモデルはVRとEDの両方で最も信頼性が低く、テストした16モデルすべてが全タスクで低パフォーマンスでした。

これらのモデルは、コミュニティ向けに数千の事前学習済みAIモデルを提供するHuggingFaceプラットフォームで入手可能です。

「全体として、このカテゴリは基本的な脆弱性リサーチにも適していない」と研究者は述べています。

アンダーグラウンドモデルは、ダークウェブフォーラムやTelegramチャンネルで悪意ある用途向けにファインチューニングされています。これには、WormGPTやGhostGPTなど、公開モデルから開発されたカスタマイズツールが含まれます。

これらはオープンソースモデルよりも良い結果を出しましたが、利用制限、不安定な挙動、出力フォーマットの不備、コンテキスト長の制限など、使い勝手の問題が足かせとなりました。

ChatGPT、Gemini、Copilotなどの大手テックプロバイダーによる汎用商用モデルは最も良いパフォーマンスを示しましたが、一部はアラインメントの安全策によって制限されることもありました。このカテゴリでも、最も難しいテストケースで動作するエクスプロイトを生成できたのは3モデルのみでした。

こうした結果にもかかわらず、調査では、生成AIがVRとEDの両方で3か月のテスト期間中に急速な進歩を示したことも観察されました。

「これらの結果は、生成AIが脅威アクターによる脆弱性の発見や悪用の方法をまだ変革していないことを示していますが、それも間もなく変わるかもしれません。“バイブハッキング”の時代が近づいており、防御側は今から備えるべきです」と研究者は付け加えました。

Forescoutは、AIによってエクスプロイトの頻度は増すが、より高度化するわけではない可能性が高いと述べています。したがって、最小権限、ネットワーク分割、ゼロトラストといった基本的なサイバーセキュリティ対策は、こうした攻撃の緩和に引き続き有効です。