「イエローチーム」がAIセキュリティの未来を定義する

少数のエンジニアリングチームが、組織が今後直面する高度なAI攻撃に対する防御策を開発しています。同時に、彼らは攻撃者がそうした攻撃を実行するために利用するフレームワークも構築しています。

4月、Anthropicは50社を超える組織をProject Glasswingイニシアチブに招待し、当時同社が「最も高度なサイバーセキュリティAI」と主張していたClaude Mythosを先行公開しました。OpenAIもその直後に追随し、Daybreakプログラムのもとで独自のGPT 5.5を試用できるよう各組織を招待しました。

それ以来、レッドチーム(侵入テスト担当者)はこれらのAIモデルを使って自社システムを攻撃するようになり、対するブルーチームはそうした攻撃の検知・防御を試みてきました。その両者の間に立つのがエンジニアたちで、彼らはモデルが持つ最大の脅威に対する緩和策と、その最大の能力を活用するためのフレームワークの両方を構築しています。

現代のサイバーセキュリティ用語では、こうしたチームは「イエロー」チームと呼ばれます。この用語は、開発者をセキュリティテストのプロセスに取り込むためにBlack Hat 2017で初めて紹介されました。彼らは今後何年にもわたるサイバーセキュリティのあり方を定義しつつあります。

「イエローチームは構築チームです」と、Glasswingのパートナーであるゼットスケーラー(Zscaler)の最高情報セキュリティ責任者(CISO)、サム・カリー氏は説明します。「彼らはこう言うのです。『レッド、もっと優れた攻撃を行うにはどんなツールが使えるだろうか?』と、まるで主要な攻撃者集団のエンジニアリング部門であるかのように。同時にブルーにもこう問いかけます。『ベンダーコミュニティから提供されていない、防御面で欲しいものは何か?』と」

イエローチームの現場に踏み込む

イエローチームがレッドチームのために何かを構築することは、これまであまりありませんでした。しかし今、特にProject Glasswingのようなイニシアチブをきっかけに、組織がMythosをどう有効活用するかを模索する中で、まさにそれが起きつつあります。

Netskopeの CISOであるジェームズ・ロビンソン氏は、初めてアクセス権を得たときのことをこう振り返ります。「Mythosがポイント・アンド・クリックほど簡単ではなかったことに、少し驚きました」。同モデルは調査結果に留保を付け、人間の侵入テスト担当者なら当然把握しているはずの文脈を欠いた脆弱性を報告してきました。たとえば、あるモデルはエンドポイントに認証がないという理由だけで「未認証」とラベル付けしましたが、その内部エンドポイントがWebから見えない意図的な公開設定であるという事実は考慮していませんでした。これはAIが見落とした文脈であり、人間のアナリストであれば把握していたはずのものです。

これはよくある話です。レッドチーム担当者はモデルを野放しにするだけでよいと考えがちですが、すぐにその考えを改めさせられます。しかしロビンソン氏は事前に備えていました。同社がGlasswingに招待される直前、Daybreakにも参加していたのです。Netskopeは小規模なイエローチーム「Project Red Horizon」を組織し、GPT-5.5向けの「ハーネス」を構築する任務を与えました。

ハーネスとは、AIモデルを取り囲むソフトウェアの繭のようなもので、モデルが何をできるか、どのような権限を持つか、どのポリシーやガードレールに従わなければならないかなどを定義します。制約が多いように聞こえますが、実際はそうではありません。防御側・攻撃側の双方にとって、効果的なAI主導の脆弱性発見に向けた最も重要な一歩となるのです。

MythosとGPT-5.5を制御する

効果的なAIハーネスを構築するのは、決して容易な作業ではありません。ロビンソン氏によれば、GPT-5.5をハーネスで包んだ当初でさえ、「膨大な量の検出結果が出てきました」。しかしその主な原因はコンテキストが正しく設定されていなかったことにあり、「対応しなければならない誤検知が大量にありました」と同氏は語ります。

AIの能力を効果的に絞り込むのは複雑な作業になり得ます。Glasswingのパートナーであるシスコ(Cisco)は、自社のハーネス「Foundry Security Spec」をオープンソース化しました。これは詳細な「憲法」によってAIモデルを制限し、オーケストレーションから検知、トリアージ、バグ報告まで13種類の異なる役割にAIエージェントを配置して、約130のサブ要件に責任を持たせる仕組みです。一方、マイクロソフトのMDASHは、100を超える専門特化型エージェントを用いて、5段階の実行ライフサイクルを通じて独立してバグを洗い出します。Cloudflareのハーネス内のエージェントは、8段階の手順に従って動作します。

組織は、ハーネスだけでは十分ではないことを理解する必要があります。その活用のための洗練された計画も別途策定しなければなりません。

たとえば、シスコでAIセキュリティエンジニアリングのディスティングイッシュト・エンジニアを務めるオマール・サントス氏は、チームのプロセスを3つのモダリティに分けています。あるケースでは、レッドチーム担当者がハーネス化されたモデルに過去の静的解析結果を与え、実際のシステムを使ってエクスプロイトを作成させます。次の複雑度のレベルでは、製品ドキュメント、他のアドバイザリからの過去のバグ情報、そして攻撃側セキュリティチームが長年培ってきたエクスプロイト手法も活用し、脆弱性を連鎖させて侵害後の分析を実行させると同氏は説明します。最後に、チームはバイナリファイルを解析し、機械環境内にソフトウェアを持たない攻撃を模倣します。

AIに対する将来への備えとは

MythosとGPT-5.5を効果的に制御することで、各組織は数千件もの脆弱性を発見しており、中には中核技術に何十年も存在していた脆弱性や、複雑なエクスプロイトチェーンも含まれています。この新たな脅威の山を前に、ブルーチームは必然的にイエローチームに助けを求め、MythosとGPT-5.5を自分たちの有利に働かせる方法を探るようになりました。

「ブルーチームが分析にAIを活用しなければ、シグナルとイベントの量に大きく圧倒されてしまうでしょう」と、ゼットスケーラーのコーポレートCISOであるレヴィ・ボロウリー氏は指摘します。「そして量が増え続けている以上、ブルーとイエローはもっと緊密に統合されていかざるを得ないと考えています」

Netskopeでは、エンジニアたちがこれまでにない形でブルーチームのパッチ適用プロセスに引き込まれるようになっています。「レッドチームとブルーチームのメンバーが、イエローチームのメンバーへの相互教育を始めています。彼らは『Mythosがこれを見つけたから、もっと速くパッチを当てに行こう』と言うのです」とロビンソン氏は語ります。「そうしたことを、今ではイエローチームのメンバーにも考えてもらえるようになりました」

とはいえ、ボロウリー氏が強調するように、「一度直せば終わりというわけではありません」。この問題を先取りするため、イエローチームはAIモデルとその発見事項をソフトウェア開発ライフサイクル(SDLC)に直接、能動的に組み込み、リスクを減らし脆弱性の再発を防ぐためにどのような習慣や慣行を変える必要があるかを学ぼうとしていると同氏は述べます。

シスコによるAI主導型SDLCのモデルは、大部分が自動化されています。これはFoundry Security Specを、安全なAIコーディングに用いるもう一つのオープンソースフレームワーク「CodeGuard」と組み合わせるというものです。簡単に言えば、防御ツールが自身のナレッジベースを攻撃ツールに提供し、攻撃ツールが興味深い新たな問題を発見すると、その情報を防御側にフィードバックする仕組みです。

Netskopeでは、同じループを人間が担っています。Daybreakの期間中、同社では日次のスクラムを行う習慣が生まれたとロビンソン氏は振り返ります。

「イエローチームのメンバーとレッドチームのメンバーが一堂に会し、モデルをどう使っているか、何を学びつつあるか、前夜にどんな発見があったかを話し合い、それらを記録していました」と同氏は語ります。

ロビンソン氏は、各組織がこうした専門分野を超えた連携を促進し、エンジニアをサイバーセキュリティの取り組みに巻き込んで新たに台頭するAIの脅威に対抗するよう強く勧めています。「今後何が起きるかは分かっています。半年後にはこうしたモデルが利用可能になり、人々はそれを使って私たちのシステムを攻撃するようになるでしょう」と同氏は述べます。「CISOは開発チームと連携し、エンジニアリング主導のアプローチを取り、新たなプロセスを構築し始める必要があります。必ず彼らを巻き込むべきです」