AIエージェントを「無害なヘルパー」として扱うことは、災いを招きます。今すぐアクセスを監査しないと、自動化は最終的に負債になります。
初期段階では、LLMモデルを制御することは難しくありませんでした。プロンプトを与えると、モデルは応答し、何か問題があってもそれは通常「単なるテキスト」でした。これは最良の部分を逃した要約、失礼な表現、または冗長な文の形をしていることもありました。
しかし、エージェントはAIエージェント内のコア推論層として組み込まれ、ゲームは一夜にして変わりました。エージェントはデータベースとビジネスアプリケーションを接続し、外部システムと相互作用し、マルチステップのタスクを実行します。
したがって、問題は「モデルはどのくらい有能ですか？」だけではありません。より重要な質問は、「あなたの環境内でAIエージェントがどのように扱われ、許可されているか？」です。
痛みを伴う失敗は、エージェントが不正確な情報を述べたり、幻覚を生み出したりする瞬間に限定されません。それはまた、エージェントが能力、権限、自律性を持っているという理由だけで、それがすべきではない行動を取るときにも発生します。
回答から実行へのシフト
相互運用性がエージェント採用を加速させているのを目撃しています。Model Context Protocol（MCP）のような標準により、モデルがツールとデータソースに接続しやすくなり、エージェント間のアプローチにより、エージェントはワークフロー全体でコンテキスト、目標、アクションを交換できます。
より多くの接続はより多くのリーチを意味し、より多くのリーチは物事がうまくいかない余地がより多いことを意味します。
AI支出が2026年に 2.5兆ドルに達すると予測されており、2026年末までに企業アプリケーションの 40％がタスク固有のAIエージェントを組み込むことが予想されていることを考えると、実際の質問はもはや採用についてではなく、可視性と制御についてです。これらの数字では、AI統合が急速にスケールしていることは明らかですが、セキュリティギャップがあります。
AIセキュリティチェックは急速に追いついており、2025年の37％から2026年の 64％に上昇していますが、それでも3分の1以上が正式な評価を受けていません。これが、適切な許可がしばしば遅れる理由です。
私が観察したところ、エージェントが複数のツールとシステム全体で動作する場合、組織はもはや「AI出力品質」だけを管理していません。彼らはアクションパスウェイを管理しており、リクエストがどこで間違ったのか、入力がどこで操作されたのか、または最終的なアクションをどのステップがトリガーしたのかを特定することが難しい環境にあります。この文脈では、許可は、有用な自動化と大規模な無許可の行動の違いになります。
過度なエージェント権限は過度な許可に正比例する
組織はAIが運用フレームワークに導入する自律性のレベルについて懸念しています。ほぼ4分の3の組織は、エージェントが必要以上のアクセス権を受け取ることが多いと述べています。この過度なエージェント権限を制止する必要があります。
実際には、特定のワークフロー内での無制限の自律性は、エージェントが必要としないシステムにアクセスし、事前に決定された役割の外側で行動を実行し、事前に定義されたパラメータを超えて外部システムと相互作用できることを意味します。これは、組織が最大のリスクとして「間違った答え」だけでなく「無許可の行動」を見ているということです。この行動には、意図しないデータ露出、無許可のコマンド、または取り消すのが難しい整合性に影響を与える変更が含まれる可能性があります。
過度な許可は厄介な問題です。通常、3つの一般的な要因によって駆動される、エージェントAIワークフローにゆっくりと忍び寄るのを見てきました。
- 責任者は、その『知恵』で、エージェントをさらに有用にするために、幅広いツール/APIを有効にします。
- 統合に問題がある可能性があり、統合をスムーズに機能させるために昇格されたアクセス権が与えられるため、安全な使用しきい値を超える追加の権限があります。
- エージェントは、特に目に見える影響を与えるアクションの場合、より少ない人間のチェックポイントで決定できます。これはAIへの盲目的な信頼と、実行優先ビジネスであることへのフォーカスから生じる可能性があります。
エージェントAIワークフローの3つのシステミックリスク
ビジネスの半分以下がAIの正式なリスク管理フレームワークを採用しており、これがエージェントAIの実際の課題が始まる場所だと思われます。問題は、それが何ができるかではなく、接続されたシステム全体で動作すると、その行動は観察と管理がより難しくなることです。
まず、多くのモデルは事実上ブラックボックスです。不透明な内部動作により、出力の検証、決定の説明、または事後監査が困難になります。
第二に、能力は過度な依存を招きます。CISOsとの会話では、一貫したテーマが浮かび上がります。エージェントが「それを処理する」ように見えると、人間は後ずさりして批判的なレビューが減少します。その結果、ミスとバイアスはより長く続きます。なぜなら、特に高リスク環境では、より少ない人々が注意深く監視しているからです。
第三に、攻撃者がエージェントが読むものまたはそれに供給するサービスを侵害できれば、モデル自体を侵害する必要はありません。接続されたワークフローはサプライチェーンスタイルの攻撃モードを作成し、上流の操作がレバレッジになります。
再許可への道：エージェント権限の制御
再許可は、AIエージェントの自律性を制限することではなく、それらを適切に制御することです。AIエージェントは実行し、実行がうまくいく必要があります。しかし、継続的な権限監査を実装して、「エージェント権限」はしごをゆっくりと登っているエージェントを特定する必要があります。
組織は完全な可視性を持つ必要があり、エージェントAI相互作用を評価し、不規則な動作にフラグを立てし、権限がポリシーに適合しているかどうかを確認し、脆弱性から保護するためにプロンプトインジェクションテストのような机上演習を使用できます。また、機密データ、財務決定、アクセス変更、または主要な運用の更新が関わっている場合、人間の監督が必須であるヒューマン・イン・ザ・ループワークフローに加わります。
エージェントに「万が一必要な場合に備えて」ツールを与えることを避けることも必要です。代わりに、最小特権コンテキスト共有を実装し、エージェントの表示とツールアクセスを、タスクが実際に必要とするものだけに制限します。
最後に、統合、ライブラリ、API、およびサードパーティを含むエージェントAIサプライチェーンを忘れないことを強調させてください。これらは、信頼できるエコシステムを構築し、上流の操作のリスクを減らすために、厳しいネットワーク制御で検証、パッチ、セキュリティで保護される必要があります。
AIエージェントが「無害なヘルパー」として扱われる場合、それらは「無害なヘルパー」として許可されます。過度なエージェント権限が標準化されます。
無制限の自律性の必然性に待ったをかける必要があります。より広い機能と権限を制御します。重要な場所で監督を注入することに焦点を当てます。エージェントは操作を強化できますが、ガードレール内のアクターとして管理され、デフォルトで信頼されていない場合のみです。
この記事はFoundry Expert Contributor Networkの一部として公開されています。
参加したいですか？
