AIエージェントを詳しく調べれば調べるほど、問題点が次々と明らかになります。Microsoftは対策議論の促進を目的として、失敗モードの分類体系を拡張しました。
Microsoftは、AIエージェントシステムにおける7つの新たな失敗モードを特定しました。これは、昨年初めて公開した「エージェント型AIシステムにおける失敗モードの分類体系(Taxonomy of Failure Modes in Agentic AI Systems)」に追加されるものです。
エージェント型AIの問題点リストが拡大した背景には、4つの要因があります。技術の急速な普及、Model Context Protocol(MCP)エコシステムの成熟、コンピューター操作エージェントの台頭、そして研究者が実際の事例から積み上げてきた実証的エビデンスの蓄積です。
今回特定された7つの新たな失敗モードは以下のとおりです。
- エージェント型サプライチェーン侵害 — エージェントの動作が、悪意あるコードではなく自然言語によって影響を受ける可能性がある;
- ゴールハイジャッキング — 敵対的な指示が正当なタスク完了と整合しているように見せかけながら、エージェントの最終目標を密かに別方向へ誘導する;
- エージェント間信頼のエスカレーション — 侵害されたエージェントがオーケストレーターに対して偽の身元を主張したり、権限を過大に申告したりする;
- コンピューター操作エージェント(CUA)ビジュアル攻撃 — グラフィカルインターフェースを通じて動作するエージェントが、敵対的な指示を含むコンテンツによって操作される可能性がある;
- セッションコンテキスト汚染 — 攻撃者が、個々のステップでは安全制御を作動させることなく、後続ステップにおけるエージェントの推論を歪めるデータを注入する;
- MCP/プラグインの悪用 — MCPおよびプラグインプロトコルに固有の攻撃対象領域に焦点を当て、元の分類体系における機能侵害の記述を更新したもの;
- 機能/アーキテクチャの開示 — エージェントがツール名・スキーマ、システムプロンプトの構造、メモリインターフェース、または同意・ヒューマンインザループのトリガーロジックといった内部実装の詳細を漏洩する。
Microsoftは、これらの定義を計画立案に活用するセキュリティチームに向けて、いくつかの対策を推奨しています。具体的には、サプライチェーンの棚卸しを行いデプロイ済みの全エージェントのソフトウェア部品表(SBOM)を作成すること、位置情報に頼らず暗号学的手段でエージェントのIDを検証するためプロビジョニング時に証明可能な認証情報を発行すること、レッドチームのカバレッジマトリクスに7つの新たな失敗モードを追加すること、そしてヒューマンインザループのユーザーエクスペリエンスをセキュリティ制御として監査することを求めています。
この記事はもともとInfoWorldに掲載されたものです。
ソース: csoonline.com