可観測性のプロセスやツールを整備せずにAIエージェントを導入している組織は、災害の予備軍だと専門家たちは指摘する。
AIエージェントの意思決定プロセスに対する真の可視性を持たないままその展開を急ぐCIOたちは、災害と隣り合わせにある。
AI専門家によれば、可観測性のプロセスやツールなしにエージェントを導入することは、深刻な悪影響をもたらしかねない時限爆弾を抱えることになる。
多くの企業がAIエージェントを導入し、ほとんど人間の介入なしに生産性を向上させることを期待していると、AIセキュリティ企業Guardrail TechnologiesのCEOであるT.J. マーリンは指摘する。それは誤ったアプローチだと彼は言う。代わりに、ITチームはエージェントを注視し、エージェント稼働プロセス全体を通じてポリシーと手順を調整し続ける必要がある。
「クロックポットのように設定して放置すればいいというものではありません」と彼は言う。「朝に鶏肉を入れてキッチンに置いておき、夜に戻れば素晴らしい夕食ができているというわけにはいかないのです。そうしている組織は、何か恐ろしい出来事が起きてフロントページを飾ることになるでしょう。」
多くの組織は、この技術のニュアンスを理解しないまま、乗り遅れへの恐怖からエージェントを急速に導入していると、マーリンは言う。一部のITリーダーはエージェントをロボティック・プロセス・オートメーションと比較しているようだが、RPAの結果ははるかに決定論的であると彼は付け加える。
「人材不足と知識不足の状況下で、正確かどうか、期待通りに動作しているかどうかを確認することなく、スピードを優先して構築が進んでいます」と彼は言う。「これらはすべて、私がキャリアの中で見てきた最悪の災害の特徴です。」
エージェントガバナンスベンダーのTrueFoundryによる最近のレポートは、規制されていないエージェントへの懸念を数字で裏付けている。200人以上のエンタープライズAIリーダーを対象とした調査では、対象組織の54%がエージェントの行動を完全に追跡できておらず、56%が集中型のエージェント管理やガバナンス層を持っていないことが判明した。
TrueFoundryはエージェントガバナンスの推進に利害関係を持つが、他の多くのAI専門家も同様の問題を認識している。
見えないままのガバナンス
ガバナンスと可観測性の困難さは、生産的なエージェントの導入に対する大きな障壁となっており、多くの組織が集中型のエージェントリストを作成しないままエージェントを導入していると、GoogleのシニアデータおよびAIエキスパートであるマヘシュ・クマール・ゴヤルは言う。
「ほとんどの企業は、すでに本番稼働中のエージェントのインベントリを持っていません。見えないものをガバナンスしようとしているのです」と彼は言う。
さらに、従来のSIEMやEDRセキュリティツールは人間の異常を検出するために作られたものであり、不正なエージェントには対応していないと彼は指摘する。「ハイジャックされていても、エージェントが1万回連続して完璧にコードを実行すれば正常に見える」と彼は言う。
完全に自律したエージェントを稼働させるのは良い考えではないと彼は付け加え、組織は最小権限スコープのツール権限、すべてのプロンプトとツール呼び出しを仲介するポリシー執行層、そしてプロンプト・ツール呼び出し・下流のアクションを一つの監査可能な証跡に結びつけるエンドツーエンドのトレーシングについて考える必要があると述べる。
「金融システムは信頼で動いているのではありません。監査可能性、照合、そしてサーキットブレーカーで動いています」とゴヤルは言う。「エージェントも同じように成熟していくでしょう。段階的な自律性が現実的な答えです。低リスクのタスクには自由裁量を、重大な結果をもたらすタスクには人間の監視を。」
問題の一因は、エージェントが従来のソフトウェアが正常に動作しているかどうかを判断するためのモデルを一変させたことだと、NvidiaのAIソフトウェア担当バイスプレジデントであるアデル・エル・ハラックは付け加える。従来のソフトウェアでは、QAやセキュリティの専門家がコードを見て問題をデバッグできたが、エージェントはAIモデルのランタイム環境で意思決定を行う。
エージェントにとっての信頼の源は、コードではなく、実行フローの記録であるトレースにあると彼は付け加える。トレース——本質的には詳細なログ——を収集することはエージェントガバナンスへの第一歩だが、組織はその情報に基づいて行動できる必要があると彼は言う。
「何かを信頼するためには、それが透明である必要があり、可観測性は透明性の基盤です」とエル・ハラックは付け加える。「しかし、観察するだけでは不十分です。それらのシグナルを取得して、実行可能な何かに変える必要があります。」
エージェントガバナンスは可観測性を超えて、組織が継続的にエージェントをテストし微調整できるようにするものだと彼は言う。Nvidiaのような企業が独自の内部ガバナンスフレームワークを構築し、他の複数のベンダーがエージェントの可観測性とガバナンスツールを提供するなど、ツールは揃っていると彼は指摘する。
「行動データを持つだけでは、フィードバックデータを取得するだけでは不十分です」と彼は言う。「システムは注釈付け、変更、拡張、または追加のフィードバックデータの作成を可能にするべきであり、そのデータを使ってエージェント全体を改善できるようにしなければなりません。」
ガバナンスのボトルネック
同時に、エージェントガバナンスに移行している多くの企業が、誤ったやり方をするとそれが大きなボトルネックになりうることを発見していると、クラウドストレージベンダーBoxでエージェント型ワークフローオートメーションのプロダクトマネジメントシニアディレクターを務めるニルマル・ガネーシュは言う。
「エンタープライズにエージェントを導入するという意味では、まだ難しい部分を乗り越えたとは思っていません」と彼は言う。「ほとんどの企業はまだそれが得意ではなく、エージェントガバナンスと可観測性を備えてスケールで運用することが得意な企業はさらに少ない。」
ガネーシュは、明確な権限モデルなしにエージェントが稼働しているなど、いくつかの問題を見ている。「エージェントがコンテンツやデータへのアクセスにおいて人間よりも多くを見たり、人間の権限以上にアクセスできたりするなら、それはインシデントが起きる予兆です」と彼は言う。
しかし、初期のエージェントガバナンスモデルの中にはスケールしないものもある。一部のITチームは、最も安全な選択肢だからという理由で、エージェントのすべての出力を人間が承認する必要があるという立場にデフォルトしていると彼は言う。
「実際には、これはより多くのチェックポイントや提案ポイントを伴う手動プロセスを再構築しているに過ぎません」とガネーシュは言う。「大量処理の場合、ガバナンスはスケールへのボトルネックとなり、安全網ではなくなります。」
組織はスケーラブルかつ包括的な可観測性とガバナンスのプロセスを整備する必要があると彼は付け加える。エージェントのROIは強固なガードレール、明確な権限モデル、そして明確な人間参加型の関与から生まれると彼は言う。
「あらゆる成熟したオートメーションには継続的な可観測性が必要です——ワークフローは変わり、ポリシーは変わり、意思決定は変わり、新しいユースケースが生まれます」と彼は言う。「人間の介入は時間の経過とともに変化するものに対して常に必要ですが、既知のパスへの介入を減らし、例外処理とガバナンスの微調整に注力する必要があります。」
アウトプットの観察だけでは不十分
ガバナンスはエージェントのアウトプットだけに焦点を当てることはできないと、法律サービスAIベンダーSavvyLexの創業者兼CAIOであるマルセロ・ロレンゼッティは付け加える。
「最大の課題は、エージェントが良い答えを出すかどうかというだけではありません」と彼は言う。「組織が、エージェントが何にアクセスしたか、どの指示に従ったか、どのツールを呼び出したか、どんな意思決定をしたか、どこで人間が介入したか、そして権限の範囲内に留まっていたかを証明できるかどうかです。」
完全なランタイムの可視性なしには、企業はスクリーンショット、ログ、事後の説明に頼るしかなく、それらは法的・コンプライアンス・セキュリティ要件を満たさない可能性があると彼は言う。
エージェントは完全に信頼されるのではなく継続的に検証されるべきだと彼は付け加え、ガバナンスはエージェントアーキテクチャ自体に組み込まれるべきだとする。ガバナンスには、役割ベースのアクセス、ポリシーに縛られた実行、人間の承認閾値、ソースとツールの出自管理、改ざんできない活動記録、信頼度スコアリング、例外処理、そしてエージェントが権限の境界に達したときの明確なエスカレーションパスが含まれるべきだと彼は推奨する。
「可観測性はモデルが応答したかどうかに限定されるべきではありません」とロレンゼッティは言う。「入力から行動に至るまでの完全な意思決定パスを示すべきです。」
AIエージェントは必要とされるガバナンスモデルを変えてしまったと彼は付け加える。
「核心的な問題は、多くの企業が質問に答えるAIから行動を起こすAIへと移行しているにもかかわらず、そのガバナンスモデルがまだ受動的なツールのために構築されており、自律的なワークフローのためには構築されていないことです」と彼は言う。
