NVIDIAは、AIエージェントを、導入企業が定めた制限の範囲内にとどめることを目的に、オープンなソフトウェアプラットフォームとハードウェアベースのリファレンスデザインを発表しました。
「Open Agent Safety Platform」には、エージェントがアクセスできる対象を制御するソフトウェア「OpenShell」と、リファレンスデザイン内の監視役「Sentry」が含まれます。Sentryは、エージェントとは別のハードウェアからその動作を監視します。企業は必要に応じて、プラットフォームの一部の要素だけを導入することもできます。
NVIDIA Open Agent Safety Platform リファレンスデザイン（出典：NVIDIA）
NVIDIAは、AIエージェントがテスト環境から脱出したり、許可なくシステムにアクセスしたりしたとの報告が、プラットフォーム開発の後押しになったと説明しています。こうした事例をきっかけに、AIエージェントの開発を減速すべきかどうかという議論も起きました。
同社によると、エージェントは、実行しようとした操作がブロックされた場合や、バグ、ツールの不足、指示の不明確さに直面した場合にも、割り当てられたタスクから逸脱することがあります。長時間にわたるタスクではこのリスクがさらに高まるため、独立したセキュリティ制御が必要だとしています。
NVIDIAのCEOであるJensen Huang氏は次のように述べています。「AIが社会にもたらす計り知れない可能性は、AIの安全性という課題を解決して初めて実現します。AIの能力の最前線を切り拓き続けるなかで、AIの安全性という最前線での探究も加速させなければなりません。安全性とセキュリティには、フルスタックのエンジニアリングが不可欠です。NVIDIA Open Agent Safety Platformは、産業界、研究者、公的機関を結びつけ、ベストプラクティスの共有、評価手法の統一、国際協力の促進を図るものです。私たちが力を合わせれば、世界のAI安全性の水準を引き上げられます」
3つのレイヤーにまたがる制御
NVIDIAは、このプラットフォームを、エージェントがタスクを実行する際に連携する3つのレイヤーで構成されるものと位置づけています。アプリケーションレイヤーには、エージェントが使用するAIモデル、ツール、データが含まれます。ランタイムレイヤーは、エージェントをコンピューティングシステム上に配置し、その動作を監視してアクセスルールを適用します。その下のインフラストラクチャレイヤーは、エージェントの実行に必要なハードウェア、ネットワーク接続、その他のリソースを提供します。
OpenShellはランタイムレイヤーで動作します。エージェントを隔離された環境で実行し、作業中のファイル、ネットワーク、プロセスなどのリソースへのアクセスを規定するポリシーを適用します。NVIDIAによると、OpenShellは同社のVera CPU上で最小限のオーバーヘッドで動作します。オープンソースソフトウェアであるため、ArmやIntelのものを含む他のコンピューティングプラットフォームにも拡張できるということです。
別のハードウェアからエージェントを監視
Sentryは、NVIDIAのBlueField-4データ処理ユニット（DPU）を通じて、インフラストラクチャレイヤーに制御を加えます。NVIDIAのDOCAソフトウェアを使ってエージェントの動作を監視し、アクセスポリシーを適用します。エージェントがソフトウェア上の境界を越えようとした場合、Sentryはそのエージェントを隔離して停止できます。
NVIDIAのVera Rubin PODの設計では、BlueField-4はエージェントがAIモデルにアクセスする際の経路上に位置します。この配置により、Sentryはエージェントから独立して動作を監視できます。Sentryはプラットフォームのリファレンスシステム設計の一部であり、対応するハードウェアが必要です。
Scale AIのCEOであるFrancis deSouza氏は、次のように述べています。「Scale AIは、NVIDIA Open Agent Safety Platformのリファレンスデザインを活用し、ミッションクリティカルなアプリケーションを運用する企業や政府機関のお客様向けに、信頼性の高いエージェント型AIシステムを構築しています。設計の初期段階から、隔離、ポリシーの適用、監査可能性を組み込んでいます。エージェントにできることを明確な境界で定め、その権限の範囲内で動作させる制御を設けることで、エージェント型AIのセキュリティを支えます」
NVIDIAによると、OpenShellや関連スキルを含むプラットフォームのソフトウェアは、同社の開発者向けリソースとGitHubで入手できます。
翻訳元: https://www.helpnetsecurity.com/2026/09/28/nvidia-open-agent-safety-platform/
