Microsoftは、AIエージェント開発にセキュリティ規律をもたらすことを目的とした2つのツールをオープンソース化しました：構造化された設計レビューツールであるClarityと、継続的テストフレームワークであるRAMPARTです。
このリリースはMicrosoftのAI Red Teamから来ており、同社の独自のAIシステムをストレステストする内部部門です。両方のツールはオープンソース化される前に内部で使用されていました。
RAMPART：テストハーネス
RAMPARTはMicrosoftの既存のオープンソースレッドティームライブラリであるPyRITの上に構築され、CIパイプラインに組み込まれるように設計されています。
開発者は敵対的シナリオ（例：プロンプトインジェクション攻撃）を説明するpytestテストを記述し、フレームワークはコード変更のたびにそれらを自動的に実行します。
「各テストは薄いアダプタを通じてエージェントに接続し、相互作用を調整し、観察可能な結果を評価します。テストは明確なパスまたはフェイル信号を返し、他の統合テストと同じようにCIでゲートすることができます。エージェントに新しいツールまたはデータソースが追加される場合、対応するセーフティテストを同じプルリクエストに追加できます」とMicrosoftのAI Red Teamの創設者であるRam Shankar Siva Kumarは説明しました。
RAMPARTは主にテストハーネスです。つまり、各開発者はニーズに応じてアダプタ、コネクタ、データセットを追加できます。AIシステムは確率的であるため、RAMPARTは同じテストを複数回実行してパス閾値を設定することをサポートしています。
KumarはこのツールがMicrosoftのAIインシデント対応チームによって実世界のインシデントを改善するために既に使用されたと述べています。
「彼らは報告された脆弱性を受け取り、RAMPARTを使用して脆弱性の100個のバリエーションを生成し、各バリエーションの効力をテストするために使用しました」と彼はHelp Net Securityに語りました。
「エンジニアはすべてのバリエーションに対する軽減策を適用し、軽減策がRAMPART経由で機能するかどうかテストしました。私たちが発見したのは、Microsoftの専門家が数週間かかる作業が、RAMPARTで数時間で実行できるようになったということです。」
Clarity：サウンディングボード
Clarityは問題の別の部分に対処します：後々コストがかかる可能性のある設計決定です。
「[Clarity]は問題の明確化、ソリューション探索、失敗分析、意思決定追跡をカバーする構造化された会話を通じてエンジニアをガイドします」とKumarは説明しました。
「経験豊富なアーキテクト、プロダクトマネージャー、セーフティエンジニアが尋ねるような質問をします。新しいものを構築することに興奮しているチームが見落としやすい質問です。」
会話の出力は人間が読める形式のマークダウンファイルとして.clarity-protocol/ディレクトリにコミットされるため、開発者は自由にレビューできます。
「失敗分析はより詳しく見る価値があります。単一のレビュアーが通常キャッチできるものをはるかに超えているからです。複数のAI「シンカー」がセキュリティ、人的要因、敵対的シナリオ、運用上の懸念など、異なる角度からシステムを独立して検査します。チームはClarityと一緒に結果を処理し、関連する失敗をグループ化し、因果関係を追跡し、管理計画を構築します」とKumarが付け加えました。
オープンソースツール
Microsoftは内部AIセキュリティツーリングをオープンソース化した実績があります。
2021年にCounterfitを公開し、2024年にPyRITを公開しました。後者は現在100人以上の外部貢献者がおり、Microsoftとコミュニティによってルーチンで更新されています。
「Microsoftエンジニアでバトルテストされたため、RAMPARTとClarityをリリースしています」とKumarはHelp Net Securityに語りました。
「AIの世界のスピードを考えると、これらの初期プロジェクトが全員に利益をもたらすことを望んでいるため、これらのツールを今日コミュニティと共有しています。」
RAMPARTとClarityはGitHubで利用可能です。
