AIエージェントの時代におけるセキュリティへのアプローチ方法

Chris Betz, AWSの最高情報セキュリティ責任者

2025年6月3日

1. 認証と認可。 認証/認可操作と基盤モデル操作の間に厳密な分離を維持します。すべてのアプリケーションはユーザーを認証し、アクションやデータへのアクセスを許可する必要がありますが、AIエージェントは、どのツールを呼び出すかを決定し、それらのツールへの入力を生成する基盤モデルという追加の層を導入します。これにより、エージェントがユーザーのアイデンティティ情報をツールに渡す際に、基盤モデルがそれを操作しないようにするという特定の課題が生じます。

   例えば、REST APIを呼び出す際には、エージェントがユーザーのアイデンティティトークンをHTTPヘッダーで送信し、基盤モデルの出力をリクエストのHTTPボディとして送信するという良いパターンがあります。この分離を維持することで、基盤モデルの出力がユーザーのアイデンティティトークンを変更できないようにします。各ツールは、HTTPヘッダーからユーザーのアイデンティティとその権限を独立して確認し、ユーザーの代理でアクションを実行する前に確認する必要があります。重要で影響力のあるアクションを実行する前に、AIエージェントはユーザーの承認を得る必要があり、人間が最終的な決定を下すことを保証します。

2. 出力の検証と処理。 基盤モデルが生成するすべてのコンテンツを、ユーザー入力と同様に信頼できないものとして扱います。特にツールを呼び出す前に、その入力と出力を確認します。エージェントのガードレールは、JSONやXMLのような構造化言語の出力構文を検証するように設定し、ビジネスルールを適用して値が期待される範囲内にあることを確認する必要があります。さらに、自動推論技術を使用して、AIが生成した応答の正確性を数学的に検証し、幻覚を防ぐことができます。このアプローチは、論理ベースのアルゴリズム検証を使用して、モデル生成情報が既知の事実と一致することを保証し、作り話や一貫性のないデータに依存しないようにします。構文チェック、ビジネスルールの検証、自動推論を組み合わせることで、組織はAIエージェントの出力の信頼性と事実の正確性を向上させることができます。

3. コード実行環境の隔離。 基盤モデルが生成するコードを信頼できないもの、潜在的に悪意のあるものとして扱います。AIエージェントは、そのように生成されたコードを安全で隔離されたサンドボックス環境で実行し、潜在的に有害なコードの実行リスクを軽減する必要があります。ソフトウェア開発パイプラインでAIエージェントが使用されるシナリオを考えてみましょう。エージェントは、開発者のプロンプトに基づいてコードスニペットを生成するかもしれません。このように生成されたコードは、メインシステムから隔離されたサンドボックス環境で実行されるべきです。これにより、潜在的に悪意のあるまたはバグのあるコードが広範なインフラストラクチャに影響を与えるのを防ぎつつ、AIエージェントが開発プロセスを支援することができます。

4. 可観測性と監査ログ。 エージェントの意思決定、アクション、結果を追跡するために、包括的で多層的なログを実装します。AIエージェントが自律的に意思決定を行い、アクションを実行するため、包括的な可観測性が重要です。エージェントのワークフローのすべてのコンポーネントは、初期のユーザープロンプトから、モデルの推論ステップ、ツールの呼び出しとその結果まで、追跡可能でなければなりません。これには、技術的な実行フローと意味的な推論チェーンの両方をキャプチャする構造化ログが必要であり、チーム間で使用できるデバッグの詳細も可能にします。

   例えば、診断支援のためにAIを使用する医療環境では、エージェントの推論の各ステップをログに記録する必要があります。初期の患者データ入力から、エージェントの分析ステップ、ツールの選択と実行、最終的な推奨事項まで。このレベルの詳細は、事後分析を徹底的に行うことを可能にし、エージェントの意思決定プロセスにおける潜在的なバイアス、エラー、またはセキュリティ問題を特定するのに役立ちます。

5. セキュリティテストとレッドチーミング。 AIエージェントの脆弱性、制限、または悪用の可能性をテストします。AIエージェントの動的な性質は、セキュリティテストアプローチの進化を必要とします。従来のセキュリティ評価と、プロンプトインジェクションや過剰なエージェンシーのようなAI特有の脆弱性のテストの両方が必要です。レッドチームがこれらのシステムを手動テストと自動化フレームワークを使用して脅威モデル化し、絶えず調査することで、組織は敵対的な脅威に先んじることができます。