大規模言語モデルには、もっともらしく作り話をすることで定評があります。人工知能のサイバーセキュリティ・アーキテクトであるエリカ・バージェスにとって、ハルシネーションはバグではなく機能です。少なくとも脅威モデリングにおいては。「ハルシネーションは、まだ検証されていないアイデアにすぎないと考えるのが好きなんです」と彼女は語りました。
レッドチーミングの専門家であるバージェスは、今月ロンドンで開催されたBlack Hat Europeでの講演「Never Break the Chain」でこの考えを掘り下げました。そこでは、実際の（ただし一部伏せた）レッドチーミングおよびペネトレーションテストの事例を共有し、GPTが、取るに足らないように見える低深刻度の脆弱性を素早く組み合わせ、最終的に概念実証（PoC）としての、正真正銘のサーバ侵害へと至る過程をどのように助けたかを示しました。
「クライアントに請求できる時間で仕事をしているときは、質の高い成果を提供していることを確実にしたい。だから、品質を保ったままスピードを上げられるのは非常に大きいんです」と彼女は述べました。
バージェスは、GPTを使って「変なやり方で物事をやるためのブレインストーミング」を支援させることを推奨しています。その理由の一つは、LLMには自尊心がないことです。ハッキングは何度も失敗を繰り返すことが多いため、これは有用な特性です。AIモデルはまた、突破口を見つけるまで何度でも試し続けても疲れません。
「ハッキングは、遊びながら観察することから始まりますよね。だから多くの場合、奇妙な挙動を見て、それを悪い挙動にさせようとするだけなんです」と彼女は語りました。
インタビュー（写真の下の音声リンク参照）で、バージェスは次の点についても語りました。
- マニュアルを何日もかけて読み漁らなくても、GPTを使った脅威モデリングで見落とされがちなコマンドを素早く見つける方法
- 以前に発見して報告した脆弱性について、ベンダーのパッチをストレステストする理由
- ソフトウェアエンジニアには見た目が汚く映るかもしれないが機能する、相殺的なアプローチを見つける点でGPTが優れていること
バージェスは10代のハッカーとして活動を始め、ソフトウェアエンジニアとして社会に出た後、2018年にアプリケーションセキュリティのレッドチーマーとなり、現在はメイン州ポートランドに拠点を置くI Am Domain AdminでAIサイバーセキュリティ・アーキテクト兼コンサルタントを務めています。複数のバグバウンティを獲得し、新たなCVEや独自のエクスプロイト手法を公開し、ペネトレーションテスターのトレーニングや、サイバーセキュリティのテクニカルリードとしてR&Dプロジェクトを実施してきました。バージェスはまた、地域のオフェンシブ・サイバーセキュリティのミートアップである2600を運営し、オフェンシブ・サイバーセキュリティ教育への情熱を持ち続けています。さらに、Security BSides Las Vegas、DEF CON、Black Hat Europeなどを含む多くのカンファレンスやミートアップで、ハッキング、ボット作成、その他さまざまなハッキング関連トピックについて講演してきました。
