- 研究者らが6件のCVEに対するAI生成パッチを検証、成功率は低調
- 多くの修正が失敗、動作変更、あるいは新たな脆弱性の混入を招く
- ガイダンスを与えることで結果は改善、評価用ハーネス「FLAWED」を公開
生成AI（GenAI）を使って脆弱性を修正する場合、セキュリティ専門家はほとんどの場合、単に「あちらを立てればこちらが立たず」の状態に陥っているだけだと専門家が警鐘を鳴らしています。
1PasswordsのOff-by-1 Labsの研究者らは、2つの最先端モデル――「medium」設定のChatGPT 5.5と、「high」設定のClaude Opus 4.8――が提案した修正内容を分析しました。
実験として、研究者らは最近公開された6件のCVEを対象に、サイバーセキュリティに対応した2つの最先端推論モデルを使って6,080件のパッチを生成しました。結果は控えめに言っても物足りないもので、提案されたパッチのうち問題を完全に解決できたのはわずか4分の1（26%）にとどまりました。
「FLAWED」な仕事ぶり？
これは明らかに物足りない結果と言わざるを得ません。というのも、パッチの半数近く（49.3%）が、既存の悪用経路を少なくとも1つ修正しきれていなかったからです。5分の1（20.1%)は元の問題は修正したもののアプリケーションの動作を変えてしまい、2.3%は新たなセキュリティ問題を持ち込んでいました。さらに興味深いことに、2.2%は脆弱性を修正できていないにもかかわらず、追加の悪用経路まで生み出してしまっていました。
一見問題ないと見なせそうなパッチ（クリーンだった26%と、アプリの動作を変えてしまった20.1%）の中でも、3分の1以上は脆弱で、根本的な問題を完全には解消できていませんでした。
研究者らは、自動生成されたLLMパッチを指す頭字語として「FLAWED」（Fix-Like Artifacts With Embedded Defects：欠陥を内包した修正もどきの成果物）を考案し、人間によるチェックなしにAIに作業を任せることに警鐘を鳴らしています。「人間によるレビューを経ない、完全にLLM生成のパッチが持つ期待値は、かなりの差でネットマイナスになる」と述べています。
研究者らはさらに、AIにより良いコンテキストを与えると結果が劇的に改善したと説明しています。通常、人間の開発者はどんなパッチに取り組む際にも、事前に最初のガイダンスを与えられます。AIに適切なガイダンスを与えると、その成功率は65%まで上昇しました。一方、誤ったガイダンスを与えると、成功率は15.2%まで落ち込みました。人間とAIの違いは、人間の方が誤解を招く情報や質の低いガイダンスを見抜くのに長けている点にあります。
だからといって、開発者がAIの利用をやめる、あるいはやめるべきだということにはなりません。最悪のシナリオは、開発者がAI生成の修正内容をレビューする時間を増やさざるを得なくなり、認知的な負荷が高まった上に、それでもなおネットマイナスに終わってしまうことです。そこで研究者らは、組織が自らのAI生成修正の有効性を判定できるよう、「FLAWED」と名付けたパッチ評価用ハーネスを公開しました。
