7分読了
出典：Alamy Stock Photo経由のSTOCKFOLIO
BLACK HAT ASIA – シンガポール – AnthropicのMythosやOpenAIの最新型GPT-5.5のような大規模言語モデル（LLM）の出現により、セキュリティ業界は、あらゆるプラットフォームやインフラストラクチャ全体にわたる産業化された自動化された大規模搾取の時代が到来しており、いかなる組織も逃げ場がない核の脅威に直面しているという暗い憶測で騒然としている。
しかし待ってほしい、とRunSybil CEOのアリ・ハーバート・ヴォスは主張する。防御者たちはAIからの加速する脅威に備えるためリスク計算を変える必要があるが、人間の努力の限界は依然として脅威がどの程度成功するかに影響を与える。そしてこれはセキュリティ業界にとって教訓となる瞬間である。
「LLMで起きていることは2000年代のファザーで見たものと同じです」と、OpenAIの初代セキュリティ採用担当者で、GPT3とCodexモデルのリリースに向けたレッドチーム業務を主導したハーバート・ヴォスは言う。「非人間的なプロセスが大規模にクラッシュを発見でき、迅速に、自動的に。人々はそれが脆弱性研究者を不要にし、業界が見たことのないゼロデイの洪水を引き起こすと思っていました。その一部は小さな形で起こりましたが、ファジングは新しい 可能性のあるバグという新しい問題を生み出しました。」
言い換えれば、誰かが欠陥を分類し、悪用可能なクラッシュを特定し、バグがどのように導入されたのかを理解する必要がありました。
「ある意味では、ファジングは脆弱性研究者をより価値のあるものにしました」と彼はDark Readingに語った。
同様に、LLMには大規模なデータセットを自動生成し、何かが間違っていることを確認し、その間違いを攻撃的に悪用する方法を提供する能力があります。彼はシンガポールのBlack Hat Asiaで金曜日の基調演説で説明しました。しかし、何かが間違っていることを知ることと、それについて何をすべきかを知ることは異なる問題です。彼はインタビューで、これが攻撃者と防御者の両方にとって、人間の専門知識が単に必要であるだけでなく重要な領域を強調していると言っています。
「私は何度も言ってきましたし、もう一度言います：能力の天井は急速に上昇しています」と彼は説明します。「能力のフロアはそのペースに追いついていません。チームはこれまで以上に多くの可能性のあるバグを生成できます。どれが本当のセキュリティ影響を持つかを検証するには、人間が必要です。そのギャップが問題です。」
サイバー攻撃ICBMが発射されるまで、まだ長い道のり
攻撃的なタスクにおける自律的なパフォーマンスは急速に向上しており、それは確かなことです、とハーバート・ヴォスは彼の講演中に認めました。
「現在起こっている最も重要なことの1つは、スケーリング仮説と呼ぶものです」と彼は基調演説で述べました。「より多くの[訓練]データプラス、より多くの計算力プラス、より多くのパラメータは、様々なタスクにわたるより良いパフォーマンスを意味し、これは過去7年以上、驚くほどよく保持されてきました。最近起こったことは、能力が線形ではなく超線形的にスケーリングしているということです。2倍大きいモデルを、2倍の期間で、2倍のデータでトレーニングすると、4倍能力のあるモデルを手に入れることができます。これは前世代のモデルとこの最新世代の違いです。」
実際、彼は2023年から2026年の間に、バグの発見からその悪用までの平均時間が5か月から10時間に短縮されたことを指摘しています。
「『左へシフトする』はこれまで以上に重要です。組織がバグを出荷できなくなる状況がすぐに来るでしょう。そのようなバグは短時間で発見され、使用されるからです」と彼は言います。「私たちはこれをすでに専門的なキャプチャー・ザ・フラッグ（CTF）競技で見ています。以前はチームに数時間かかったチャレンジが、現在はライブ後数分でCTFプレイヤーとカップルのエージェント型コーディングツールによって解決されています。」
しかし、LLMベースの攻撃的な改善は、異なるクラスの脆弱性によって異なります。Mythosは低い深刻度の「浅いバグ」の発見と悪用に関して「大幅な改善」を達成している、と彼は基調演説で述べました。中程度のバグについては控えめな改善。最も深刻なものについてはいくらか限定的な改善。人間は加速したバグ発見の利益を享受するために、大量のフィルタリングと検証を行う必要があります。
「進歩の良い例は多段階攻撃の実行です：英国AI安全研究所によるAnthropicのMythosの最近の評価は、モデルが制御された環境で長期的な攻撃ワークフローを自律的に実行でき、攻撃チェーンの実質的な部分を完了できることを示しています。これは以前のモデルができなかったことです。しかし、境界はまだ明確です：これらのシステムは実世界のターゲットで信頼性のある一貫性がありません。」と彼はDark Readingに語ります。
言い換えれば、脆弱性の影響を有意義に評価する場合、モデルはそれらの発見が本当に時間に値することを保証するわけではないと、彼は舞台から説明しました。「個々の攻撃者はモデルを頼りに悪用を見つけるとき運が良いように見えるかもしれませんが、特定のターゲットと特定のトピックに対する具体的な影響を発見したい場合は、多くの反復が必要です」と彼は説明しました。「Mythosの最近の実験は、より大きな自動化データポイントのプールの背後に、198の人間によるレビュー結果が存在することにまで減少しました。」
しかし実際には、これはまだ組織にとって大きな課題を示しています。「防御者は残念ながら何百万ものタイプライター持つ猿に襲われるでしょう、その中の何人かはとても良い悪用を書くでしょうし、何人かはそうでないでしょう」と彼は言いました。「それでも、防御者はバグが見つかるたびに反応する必要がありますが、攻撃者は数か月ごとに幸運を得るだけで済みます。」
相互確証破壊（サイバー）の回避
自律的な攻撃システムは今や悪用をチェーン化し、偵察を実行し、中盤で適応できます。「エンジニアリング部門は予算、教育、およびそれをAIネイティブにするへのアクセスが必要です」とハーバート・ヴォスは言います。「あなたの会社/組織が自分たちで構築することが有意義なものを理解してください、そしてアウトソーシング/購入することが有意義なものを理解してください。しかし、スネークオイル問題があります：すべての企業がキャッチーなバズワードと約束で『AI』をある程度使用していると主張しています。セキュリティリーダーは彼らの主張に対して説明責任を求める必要があります。」
全体として、防御者として活用する4つの主要な技術進歩があります。ハーバート・ヴォスは以下を概説しています：
-
推論の改善。彼はこれが最も重要な基盤的な部分だと言います：「セキュリティの多くは深い推論を含みます。これはどのように機能しますか？どのように壊れる可能性がありますか？もしXをしたらYが起こるなら、それは何を意味しますか？」
-
ツール呼び出しの改善。「システムがどのように壊れる可能性があるかについて一日中理論化することはできますが、実際に脆弱性を見つけるには、エージェントが実世界と相互作用できるツールを使用できる必要があります」とハーバート・ヴォスは言います。「エージェントは脆弱性が存在することを証明するために、どのツールをいつ使用するかを理解するのに非常に優れています。」
-
品質「ハーネス」エンジニアリング。「エージェントのコンテキストウィンドウは限定されています」と彼は説明します。「彼らは適切なスコープで適切なコンテキストと適切なツールへのアクセスを与える必要があります。時間が経つにつれて、我々はこれを継続的に改良して、エージェントを成功のために設定し、不可能なことを期待しないようにしています。」
-
ハーネスの周りの右側のシステムの構築。「優れたハーネスを備えた単一のエージェントは、それほど多くのことはできません」と彼は説明します。「この業界での成功には、複数のエージェントが協力して作業する必要があり、効果的なエージェント間通信を可能にするための適切なシステムを構築する必要があります。」
全体として、善悪の演者による脆弱性発見のペースは必然的により速くなるでしょう、そして「フロンティアモデル」への利用可能性は増加し続けるでしょう。ハーバート・ヴォスはこれが実は肯定的な発展だと信じています。
「AI業界には、これらの機能へのアクセスを広げるための極端な経済的圧力があり、それは良い使用例と悪い使用例の両方に当てはまります」と彼は金曜日に結論付けました。「物事がどの程度の速さで進んでいるのかについて多くの懸念がありますし、それは間違いなく私たちが注意を払う必要があるものですが、多層防御の構築とパッチングに焦点を当てるためにより多くの機会があり、このエネルギーとこの勢いを使って、おそらく最初から単にすべきことをたくさん実行するだと思います。」
