水曜日、Microsoftは2つの新しいレッドチーミングツール—RampartとClarity—をリリースしました。これらは開発者がより安全なエージェントソフトウェアを設計し、継続的な違反に直面する事象対応者を支援することを目的としています。
RampartはPyRITの上に構築されており、PyRITはMicrosoftが生成AIシステムのレッドチーミング用に開発した既存のオープン自動化フレームワークです。PyRITが既に構築されたシステムをセキュリティ欠陥についてスキャンする一方で、Rampartは開発プロセス中にコードの脆弱性を継続的にテストするように設計されており、敵対的テストシナリオと無害なテストシナリオの両方をソフトウェア開発パイプラインにエンコードして、悪用可能なバグと依存関係をフラグします。
Microsoftは、Rampartがクロスプロンプト注入攻撃に焦点を当てるように構築されたと述べました。これは「エージェントが文書、メール、チケット、および他のデータソースから潜在的に汚染されたコンテンツを取得または処理し、間接的に動作を操作する」ものです。また、「単一ショット検証」を実行するツールとは異なり、複数のテストラウンドを通じて修正またはエクスプロイトが意図したとおりに機能することを確認します。
2番目のツールClarityはデスクトップアプリケーションとして、Webインターフェースとして、またはコーディングエージェントに直接埋め込まれて実行できます。プロジェクトの開始時に開発者にリアルタイムセキュリティエンジニアリングガイダンスを提供します。コードに関連するさまざまなビジネス目標を分類および追跡し、ダウンストリームのセキュリティへの影響と、より安全な設計による代替案を強調することができます。
2019年にMicrosoftのAIレッドチームを設立したRam Shankar Siva Kumarは、CyberScoopに対し、同社がこれらのツールの使用から内部セキュリティ上の利益を見ていると述べましたが、RampartとClarityの成長はMicrosoftエコシステム外の他の開発者からの貢献に依存していると信じています。
AIの急速に変わる世界では、ビブコーディング、不正なAIエージェント、および継続的な新しいモデルリリースがほぼ毎週新しいセキュリティ上の含意を生成します。Siva Kumarは、基礎的なAI中心のセキュリティプロセスをソフトウェア開発パイプラインに組み込み始めることが重要だと述べました。
「AIの安全性とセキュリティについて多くの話を聞くと、それは多くの哲学的議論のようです」と彼は述べました。「フレームワークが見られ、ホワイトペーパーが見られます。そして私たちは本当にその時間を過ぎたと思っています。私たちはAIの安全性をエンジニアリング規律として考え始め、開発者がいるところにセキュリティをもたらそうとする必要があります。」
Rampartの防御者への潜在的な有用性は、単にソフトウェア開発パイプラインの保護を超えています。ホットフィックス、パッチング、および修復のためのレッドチーミングを高速化または自動化するために、アクティブなインシデント対応中に使用することもできます。
Microsoftは彼ら自身の製品で報告された脆弱性を調査する際にRampartを使用しました。Siva Kumarは、このツールが1週間分の手動作業—脆弱性を複製し、同じバグの異なるバリアントを特定し、その後これらのバリアントをパッチして再テストして、それらがもはや悪用可能でないことを確認する—を数時間に短縮するのに役立つことができたと述べました。一方、Clarityはソフトウェアプロジェクトのセキュリティアドバイザーとして機能し、開発者に彼らの設計決定とそれらのダウンストリームセキュリティ上の影響における潜在的なリスクを考慮するよう促します。AI生成コードとエージェントの台頭、および実行がより安価になる中で、この種のプロアクティブガイダンスはますます重要になっています。
「あなたはアプリを作成し、インターネットから物を引き出すMCPサーバーを作成することができるようになります」とSiva Kumarは述べました。「問題はあなたがそれをすべきかどうかです。そしてClarityはその方向への一歩です。それは『ねえ、あなたは最初からこれをすべきですか？』と尋ねています。」
翻訳元: https://cyberscoop.com/microsoft-rampart-clarity-agentic-ai-security-red-teaming-tools/
