Rampartはレッドチーム調査結果を反復可能なテストに変換。Clarityはコード作成前にエージェント設計の前提条件を文書化し検証します。
マイクロソフトはAIエージェント開発ライフサイクルの早い段階でAI安全性チェックを実施することを目的とした2つの新しいツールをオープンソース化しました。
RampartとClarityと呼ばれるこれらのツールは、エージェントAIの安全性エンジニアリングを実装するというマイクロソフトのより広範な取り組みの一部として、今週発表されました。
「AI安全性は定期的なチェックポイントではなく継続的なエンジニアリング分野となる必要があると考え、それを実現するための最善の方法は、実用的でオープンなツールを開発者の手に渡すことだと思います」とマイクロソフトのAIレッドチーム創設者Ram Shankar Siva Kumarはセキュリティブログ投稿で述べました。
この発表は、AIエージェントがチャットボットスタイルのアシスタントから実際の運用権限を持つシステムへと進化している時期に行われています。マイクロソフトによると、これらの新しいエージェントは、プロンプトインジェクション、安全でないツール使用、権限昇格、意図しない自動アクションなど、従来のアプリケーションセキュリティワークフローが対応するために設計されていなかったリスクを導入しています。
RampartとClarityの両方は、現在マイクロソフトからオープンソースプロジェクトとして利用可能です。RampartおよびClarity
反復的なAIレッドチーミングのためのRampart
マイクロソフトはRampartを2つのツールの中でより実用的なものとしています。このフレームワークは、開発者がレッドチーム調査結果を開発およびデプロイメントパイプライン中に継続的に実行できる反復可能なテストに変換するのを支援するために設計されています。
マイクロソフトの生成AIシステムのレッドチーミング用オープン自動化フレームワークであるPyRITの上に構築されたRampartは、チームが敵対的および良性のテストシナリオの両方をAIエージェントに対して構造化された自動化された方法で実行できるようにすることを目指しています。
このアイデアは、一時的な安全性レビューを超えて、代わりにCI/CDワークフローに継続的なチェックを直接含めることです。「PyRITはシステムが構築された後のセキュリティ研究者によるブラックボックス発見に最適化されていますが、Rampartはシステムが構築されている間にエンジニアのために構築されています」とKumarは説明しました。
このフレームワークは、クロスプロンプトインジェクション、安全でないデータ処理、安全でないツール実行、およびその他のエージェント固有の攻撃パスに関連する問題を、アプリケーションが本番環境に到達する前に表面化させる能力を約束します。さらに、Rampartはエージェントが進化するにつれてエンジニアが継続的に回帰をチェックするのを支援し、組織がAIレッドチーム調査結果を反復可能な自動テストに変換できるようにプログラムされています。
AIエージェントの前提条件に焦点を当てるClarity
Rampartが構築されているシステムのテストに焦点を当てている一方、Clarityはコード作成が始まる前のワークフローの早い段階を対象としています。
マイクロソフトはClarityをAIエージェント設計決定の背後にある前提条件を検査し検証することを意図したツールとして説明しています。これはおそらく、エージェントがどのように動作することが期待されているか、どのような権限を持つべきか、ツールおよび外部システムとどのように相互作用するか、および信頼境界がどこに存在するかを評価することを含むでしょう。
「Clarityはデスクトップアプリ、ウェブUI、またはコーディングエージェントに直接組み込まれたものとして実行されます」とKumarは述べました。「問題の明確化、ソリューション探索、障害分析、および決定追跡をカバーする構造化された会話を通じてエンジニアを案内します。」
これらの会話はリポジトリの「.clarity-protocol/」ディレクトリにマークダウンファイルとして書き込まれます。これはコミットでき、プルリクエストで確認でき、ソースコードのようにdiffできます。マイクロソフトは過去数ヶ月間、オープンソースの「エージェント管理」および安全性スタックを構築しており、RampartとClarityを単独リリースではなくより広範な戦略の一部にしています。先月、同社はAIエージェント向けのルーチンコントロール、ポリシー適用、およびOWASP対応の保護に焦点を当てたAgent Governance Toolkitを導入しました。
この記事は元々InfoWorldに掲載されました。
