セキュリティ
レドモンド、より安全なエージェント構築・維持用の2つのツールをオープンソース化
マイクロソフトは水曜日、開発者とセキュリティチームがより安全なAIエージェントを構築・維持するための2つのAIツールをオープンソース化した。
最初のツールはRAMPARTと呼ばれており、「Agentic Red Teaming のためのリスク評価・測定プラットフォーム」の略である。マイクロソフトのオープンソースPyRIT ツールキットの上に構築された、エージェント AI アプリケーション用の pytest フレームワークで、自動化されたレッドチームテストを CI/CD パイプラインに組み込んでいる。
これにより開発者はプロンプトインジェクションのような現実世界の攻撃シナリオをシミュレートし、エージェントが承認されたツールの使用、アクション、および動作の境界内にとどまることを確認できます。また統計的試験をサポートしており、チームは「このアクションは実行時の少なくとも80%で安全である必要があります」というようなポリシーを設定できるため、モデルの確率的動作を考慮に入れることができます。
さらに、レッドチームとインシデント対応者が AI セキュリティの検出結果を再現して、エージェントが意図通りに動作し、セキュリティ対策が正常に機能することを確認できます。
「AI セキュリティについての哲学としての議論をやめ、エンジニアリング分野としての AI セキュリティについて考え始める時が来た」とマイクロソフトのデータカウボーイであり、AI レッドチームの創設者であるラム・シャンカール・シヴァ・クマーは、The Registerに語った。
マイクロソフトは社内で RAMPART を使用していており、クマーは具体的な詳細は提供できないと述べましたが、セキュリティ研究者が問題を発見し、レドモンドのレッドチームがエージェント AI アプリケーション全体の欠陥をテストするために RAMPART を使用したと述べました。
「RAMPART はその 1 つの特定のベクトルを取得し、そのベクトルの約 100 の異なるバリアントを見つけることができました」とクマーは述べました。「その後、RAMPART を使用してこのアセット全体をチェックし、これが機能しているかどうかを確認できました。1 回ではなく、2 回ではなく、約 300 回です。マルチターン会話の文脈でもこれを行うことができました。」
テストフレームワークにより、開発者は製品にミティゲーションを組み込むこともできました。
「彼らは再び RAMPART を使用して、セキュリティ研究者が見つけた 1 つのベクトルだけでなく、それらのベクトルの複数のバリエーションに対して、その修復が実際に機能するかどうかを確認できました」とクマーは説明しました。「これは私たちのインシデント対応者とエンジニアを支援しています。」
マイクロソフトが水曜日にオープンソース化した 2 番目の AI ツールは、Clarity と呼ばれるエージェントであり、「チームがコードを 1 行書く前に、正しいものを構築しているかどうかを判断するのに役立つ構造化されたサウンディングボード」として機能するように設計されています。これはクマーが 2 つの新しいツールについて書いた水曜日のブログによると述べられています。
例えば、開発者がドキュメントエディタにリアルタイムコラボレーション機能を追加したいとします。彼らは Clarity にこれを伝え、エージェントはマイクロソフトによると「経験豊富なアーキテクト、プロダクトマネージャー、セキュリティエンジニアが質問するであろう」質問で応答します。
GitHub のスクリーンショットに表示されている Clarity の回答：「それを設計する前に – 2 人が同じ段落を同時に編集するとどうなりますか？真のリアルタイム（カーソル、プレゼンス）が必要ですか、それとも「誰も作業を失わない」が実際の要件ですか？これらは非常に異なるアーキテクチャにつながります。」
AI ツールは本質的に、開発者がアプリで解決しようとしている問題と何が悪くなる可能性があるかを答え、コーディングが始まる前にこれらの問題を「話し合う」ことを目的としています。
「それは本質的に協調的です」とクマーは述べました。「それはチームが一歩引いて、『ねえ、これを構築する前に、正しい方向に進んでいますか？コードは安いものです。完全なシステムを生成するのは一瞬です。これを理に適った方法で行っていますか？』と言うのを助けます。」®
IT を支える手をかむ
