Help Net Securityのインタビューに応じたのは、GitHubのセキュリティ研究者Peter Stöckli氏です。同氏は、GitHubのチームがAIエージェントを使ってソフトウェアの脆弱性を監査する方法を説明しました。話題は、認証・認可のバグから着手した理由、モデルごとにプロンプトをテストして削ぎ落とす手順、脅威モデリングの段階でエージェントが出力する内容などに及びます。
Stöckli氏はさらに、メンテナーに届く前にすべてのレポートを人間が確認していることや、誤検知を取り除く方法、GitHubが進めているメンテナー向けのレポート対応支援策についても語りました。

あなたはIDおよびアクセス管理製品の開発出身です。監査タスクフローの検出結果には認証バイパスやIDORが多く含まれますが、その経歴はタスクフローにどの程度反映されていますか。
とても良い質問です。認証と認可が一般にどう実装されるかについての私の知識が、Audit Taskflowプロンプトの初期版に大きく影響したのは事実です。同時に、LLMは不整合を見つけることに特に適しており、その能力も高いというのも事実です。認証・認可の脆弱性は、まさに不整合という形で現れることが多いためです(例: あるエンドポイントだけアクセス確認が欠けていて、似た他のエンドポイントにはある)。そのため、まず認証と認可の脆弱性に焦点を当てました。
タスクフローでは、監査を小さく絞り込んだタスクに分割しています。どこで区切るかはどのように決めますか。タスクが広すぎる場合、また狭すぎる場合には、それぞれどのような問題が起きますか。
区切る位置はモデルによって変わります。以前は、同じタスクでもモデルにより多くのプロンプトが必要でした。今は逆に、プロンプトを書き込みすぎて、意図せずモデルの創造性を制限してしまうことがあります。そのため、プロンプトを互いに比較評価するテストに多くの時間を割いています。追加した指示に効果が見られなければ、その指示は削除します。
Webの監査手法では、コードを見る前に脅威モデリングを行います。この段階でエージェントは何を出力しますか。また、人間がその結果を破棄してやり直すことはどのくらいありますか。
脅威モデリングの段階では、監査タスクフローがあらゆるコンポーネント、あらゆるエントリポイント(例: 関数)、あらゆるWebエントリポイント(例: APIエンドポイント)、あらゆるユーザー操作などを一覧にします。その大半については、ライブラリやアプリケーションが本来想定している意図も記録します。
簡単な例を挙げます。コマンドを実行するメソッドは、ライブラリの意図した機能かもしれません。それが脆弱性になるのは、ライブラリの意図しない副作用である場合だけです。さらに、悪用可能な脆弱性になるのは、信頼できないデータがそのメソッドに流れ込む可能性がある場合に限られます。
この結果を破棄することはあまりありませんが、この段階で他の情報源からデータを追加することはあります。
メンテナーは、低品質なAI生成のバグレポートですでに手一杯です。Security Labのレポートには、送信前に人間が確認したことを示すために何が含まれていますか。
送信前に、すべてのレポートを手作業で検証し、レビューしています。各レポートには、問題とその影響を示す明確な概念実証(PoC)を付けています。そのため、メンテナーは分かりにくい可能性のある説明に頼る必要がありません。また、メンテナーが質問できる窓口がはっきりしていることも重視しており、通常は私たち自身のユーザーアカウントからレポートを送っています。質問に答え、修正に協力し、そのテストも支援します。この組み合わせが、95%という修正率につながっていると考えています。
エージェントが誤検知を出した場合、そのコストを負担するのは誰ですか。チームですか、それともレポートを読むメンテナーですか。そのコストを自分たちの側にとどめるには、どうしていますか。
そのコストは私たちの側で負担するつもりです。そもそもエージェントが誤検知を出さないようにするために、多くの労力をかけています。そのうえで、エージェントの出力をセキュリティ研究者が検証し、本物のバグであることを確認します。研究者はバグの有無を確かめるだけではありません。報告に値する脆弱性かどうかも評価します。一般に、重大度の低い検出結果は除外しています。
メンテナー側のコストを減らす取り組みも進めています。私たちはAdvisory DatabaseとGitHubの非公開の脆弱性報告機能を運営しており、レポートを受け取るメンテナーの体験向上にも努めています。今年は、レート制限、構造化された報告フォーム、APIの改善といった機能を導入し、メンテナーがトリアージを自動化しやすくしました。トリアージをさらに加速する機能も、すでに開発を進めています。
翻訳元: https://www.helpnetsecurity.com/2026/11/17/peter-stockli-github-ai-security-audits/