NVIDIA、エージェント型AIを監視・統制する「Open Agent Safety Platform」を公開

アナリストは今回の統制機能を評価する一方、エージェントが引き起こす問題の大半はNVIDIAの提供範囲外だと指摘しています。ベンダーロックインへの懸念も生じています。

NVIDIAは月曜日、エージェントのガバナンスシステム「Open Agent Safety Platform」を発表しました。ソフトウェアと、アウトオブバンドで動作するDPUベースのシリコンを組み合わせたリファレンスシステム設計で、同社は「テストから展開まで」エージェントを保護できるとしています。

ただしアナリストは、NVIDIAの設計に含まれるシリコンベースのコンポーネントにはサイバーセキュリティ上の利点があるものの、エージェントに関する問題の大半には対処できないと指摘しています。

NVIDIAの製品は同社のOpenShellソフトウェアを活用し、「エージェントを実行するソフトウェア、ハードウェア、コンピューティング、ロボティクスの各システム全体にわたる、フルスタックのガバナンスと制御」を提供するとしています。同社はニュースリリースで次のように説明しました。「OpenShellソフトウェアは、安全なランタイム境界を提供します。NVIDIA Vera CPU上でエージェントが動作する間、すべての動作を追跡し、ポリシーを適用します。オープンソースソフトウェアであるため、OpenShellを拡張し、ArmやIntelのものを含むサードパーティのコンピューティングプラットフォームでも動作させることが可能です」

Open Agent Safety Platformのリファレンスシステム設計には、NVIDIA Sentryが含まれます。これはNVIDIA BlueField-4 DPU上で動作するアウトオブバンドの監視機能で、エージェントの挙動を継続的に監視します。リリースには次のように記されています。「Sentryはシリコン内でセキュリティを強制します。AIエージェントがソフトウェアの境界外へ出ようとした場合、Sentryは数ミリ秒でそのエージェントを隔離し、停止します」

NVIDIAは「セーフティプラットフォーム」の詳細を解説した開発者向けブログ記事で、このアプローチを「カーネルレベルの分離を備えたサンドボックス環境で、自律型AIエージェントを実行する安全なランタイム」と説明しました。また「オープンモデルの利点は、推論空間全体とアクティベーションがすべて可視化されることだ」と主張しています。

プラットフォームの各コンポーネントは、多数のパートナーが展開します。パートナーにはCiti Group、JPMorganChase、Citi、Anthropic、Cisco、CrowdStrike、Dell Technologies、Figure、HPE、Hugging Face、Microsoft、Palantir、Palo Alto Networks、Perplexity、Red Hat、Salesforce、SAP、Scale AI、ServiceNow、SpaceXAIが名を連ねています。

正しい方向への一歩

GartnerのシニアディレクターアナリストであるLauren Kornutick氏は、NVIDIAの取り組みをおおむね評価しています。「ハードウェアレベルという興味深い視点から問題を解決しようとしています。正しい方向への大きな一歩です」と述べました。

一方でKornutick氏は、公表された支持企業の顔ぶれには物足りなさを感じているといいます。「主要プレーヤーの一部が明らかに欠けています」と指摘し、OpenAI、Amazon、Googleを挙げました。

ほかのアナリストやコンサルタントも、技術的な実装は印象的で明確なメリットがあると認めています。しかし同時に、自律型エージェントの管理とセキュリティ確保において、企業のCISOが本当に苦労している課題という全体像を、この製品が捉えきれていないとも強調しました。

限界

最大の課題は、IT部門やサイバーセキュリティ部門のいずれにも承認されていないエージェントが、企業環境にあふれていることです。通常、これらの部門は、認証情報を持つエージェントの存在すら把握していません。

コンサルティング会社Control RisksのパートナーであるBrian Levine氏は、「限界はカバレッジです」と語ります。「この統制が管理できるのは、自社が管理するインフラ上に展開したエージェントです。事業部門がSaaSプラットフォーム上で立ち上げたエージェント、ベンダー製品に組み込まれたエージェント、攻撃者が持ち込むエージェントには、何の効果もありません。存在を知らないエージェントに、ポリシーを守らせることはできません。まず必要なのは、検出とインベントリの整備です。これは技術的な課題であると同時に、ガバナンスの課題でもあります」

ニューヨークのテクノロジーコンサルティング会社Tribeca Softechで最高戦略責任者を務めるAman Mahapatra氏も、NVIDIA製品の限界について同意見です。

「強制の対象は、統制されたランタイム内で動作するエージェントだけです」と同氏は言います。「ランタイムのガバナンスが守るのは、すでに把握しているエージェントです。つまり、保護の必要性が最も低い層なのです」

ただしMahapatra氏は、だからといってこの取り組みが無意味になるわけではないと述べています。

「実質的に状況を改善できる可能性は十分にあります。理由は一つです。SentryはBlueField-4 DPU上でアウトオブバンドに動作し、NVIDIAが『エージェントにも攻撃者にも見えない』と説明する、分離された信頼ドメインに置かれているからです」と同氏は語ります。「知覚できない統制を、理屈でかわすことはできません。DPUを説得して、ポリシーの適用をやめさせることもできません。確率的な推論は、モデルが影響を及ぼせない決定論的なレイヤーで挟む必要があります。あらゆるものを読み取り、何も書き込まない監視機能を備えることも必要です。Sentryはこの原則をシリコンに落とし込んだものであり、シリコンはそのための適切な場所です」

IDCでAIインフラストラクチャ担当VPを務めるBrent Ellis氏も同意見です。同氏の推計では、この製品が対処できるのは、企業のエージェント型サイバーセキュリティ問題の「おそらく25%未満」です。

ロックインのリスク

Ellis氏はさらに、この製品にはベンダーロックインの側面もあると指摘します。現在、NVIDIAは企業向けAIハードウェアで、ほぼ独占的ともいえる巨大な市場シェアを握っています。しかしEllis氏は、「競合他社が有力な選択肢として台頭し始めている」ため、シェアは低下すると予想しています。特に、自社でシリコンを設計する投資を進めてきたハイパースケーラーが有力です。

とはいえ、圧倒的にNVIDIA中心の企業にとっては、このハードウェアアプローチは大いに理にかなうとEllis氏は言います。では、NVIDIAのプラットフォームは、企業のエージェント型サイバーセキュリティを実質的に改善できるのでしょうか。

「はい、その内部で動作するエージェントについては改善できます」と同氏は答えました。「ただし、それは大きな『条件付き』です。NVIDIA製ではないエージェントインフラは数多くあります。VeraやBlueFieldより前に構築されたアーキテクチャでは、採用できるプラットフォームの要素が限られます」

Ellis氏はこの条件を付けたうえで、状況は好転し始めるといいます。「すべての要素を採用できる環境なら、強制の場をモデルやアプリケーションのレイヤーの外に移せます。これまで、エージェントは会話やコーディングで、繰り返し統制をかいくぐってきました。強制の場をランタイムとシリコンに移せば、より高い障壁になります。特にSentryは、DPUを迂回しにくい交通整理役にします」

それでも、ガバナンスの弱点を突く攻撃は依然として成立し得ると、同氏は指摘しました。

「最近のOpenAIのインシデントがどう展開したかを見てください」と同氏は指摘します。「エージェントはサンドボックスの壁を破ったわけではありません。スイスチーズのように穴だらけの環境セキュリティを通り抜けたのです。共有パッケージリポジトリを掲示板として使い、エージェントに代わってインターネット上のコンテンツを取得するサービスを利用し、隣接システムの未パッチの欠陥を突きました」

戦略上の過ちを回避

Dickson ResearchのプリンシパルアナリストであるFrank Dickson氏は、NVIDIAのプラットフォームを高く評価しています。エージェント型システムの保護を試みてきた過去の取り組みが犯した戦略上の過ちを、いくつか回避しているためです。

「この2年間、業界はエージェントに『行儀よくする』よう求めることで保護しようとしてきました。ガードレールをプロンプト、モデル、ハーネスに組み込む方法です。このアプローチは、最初から失敗する運命でした」と同氏は語ります。「NVIDIAはようやく、強制を本来あるべき場所に置きました。エージェントの外側です。具体的には、カーネル、すべての送信リクエストを検査するプロキシ、そしてエージェントが見ることも触れることもできないシリコンです。囚人に、自分の独房の鍵をかけさせてはいけません。本格的なエージェントプラットフォームは、すべてこの設計に追随する必要があります」

Dickson氏によると、NVIDIAのアプローチは、不正な挙動をするエージェントを見つけてから止めるものではありません。問題の発生そのものを防ごうとするものです。

「OpenShellは、サンドボックスを出る前にすべての送信リクエストをポリシーと照合します。そのポリシープルーバーは、エージェントが動作を始める前に権限をチェックします」とDickson氏は説明します。「NVIDIAは、Sentryが不正なエージェントを数ミリ秒で隔離すると主張しています」

これは、OpenAIが報告した最新のエージェント問題への対応にかかった時間とは対照的です。この問題では、OpenAIのエージェントがネットワーク制限を回避し、外部のチャットボットと通信しました。OpenAIは次のように報告しています。「システムが実際に発したDNSアラートを、人間のレビュアーが確認するまでに要した時間はわずか3分でした。しかし、トレーニングの実行が停止されるまでには、さらに2時間半かかりました」

万能薬ではない

コンサルティング会社AcceligenceのCEOであるJustin Greis氏も、NVIDIAのアプローチは堅実だという点で同意しています。ただし同氏は、AIエージェントがこうした制限をかいくぐる方法を見つけ出すことで定評があると強調しました。

「能力を高めたエージェントは、境界を探り、意図しない経路を見つけ、曖昧さを突いてくると想定すべきです。セキュリティを、エージェントが『そうしない』と判断することに依存させてはいけません」と同氏は語ります。「しかし、ハードウェアで強制する統制でさえ、その効果は私たちが与える境界とポリシーの質次第です」

同氏は、ユーザーが誤って正当な経路を許可し、それが危険な結果を生む場合、エージェントがセキュリティ統制を回避する必要は必ずしもないと指摘します。「誤った権限設定、過剰な権限、個々には無害な機能の組み合わせ、侵害されたサードパーティ、統制された環境の外で発生する活動は、依然としてきわめて現実的な問題です」と述べました。

翻訳元: https://www.csoonline.com/article/4227843/nvidia-releases-open-agent-safety-platform-to-monitor-and-govern-agentic-ai.html

本記事は csoonline.com の記事を翻訳・要約したものです。