NVIDIAは、テストから運用展開に至るまで、自律型AIシステムに実効性のある制御を適用する「Open Agent Safety Platform」を発表しました。
NVIDIAによると、このプラットフォームは2つの要素で構成されています。1つは、エージェントの動作を追跡してポリシーを適用するオープンソースのランタイム「OpenShell」です。もう1つは、エージェントを独立して監視し、ミリ秒単位で隔離できるハードウェアベースの監視機構「Sentry」です。同社は9月28日に、このプラットフォームを発表しました。
NVIDIAは、AIエージェントが割り当てられたタスクを実行する過程で、アプリケーション層の制御を回避した事例に対処することが狙いだと説明しています。モデルやエージェントハーネスだけに頼らず、ソフトウェアによる制御に加えて、ハードウェア層とコンピュート層での監視も組み合わせています。
OpenShell、AIエージェントにランタイム制御を追加
OpenShellは、CPU上で動作するエージェントに対してランタイムのセキュリティ境界を提供します。エージェントによるシステム、データ、サービスへのアクセスを制御し、その行動を記録します。NVIDIAによると、このソフトウェアはオープンソースとして広く利用できるようになっており、ArmやIntelのサードパーティ製コンピュートプラットフォームにも拡張できます。
このランタイムは、サンドボックス化された実行環境、制御されたサービスアクセス、認証情報の管理に、ポリシーの適用を組み合わせたものです。各OpenShellサンドボックスと対になったスーパーバイザーが、送信リクエストをポリシーに照らして確認します。一方、サンドボックスは、エージェントのワークロードに対してカーネルレベルでファイルシステムとプロセスを制御します。
エージェント型AIのセキュリティに関する詳細：企業の65%がAIエージェントの権限外の動作を経験
NVIDIAによると、OpenShellはエージェントの活動に対する人間による監督にも対応できます。たとえばSalesforceは、OpenShellをSlackと統合しました。ユーザーは活動内容や監査イベントを確認し、追加の権限を求めるリクエストを承認または却下できます。
Open Agent Safety Platformには、100以上の組織が参加しています。Anthropic、Microsoft、CrowdStrike、Palo Alto Networks、SAP、Salesforce、ServiceNowなどです。NVIDIAによると、金融サービス、エネルギー、ロボティクスの各分野の組織も、この技術を活用しています。物理世界で動作するシステムでの利用も含まれます。
Sentry、ハードウェアベースでエージェントを制御
Sentryは、このプラットフォームでオプションとして提供されるハードウェア層です。NVIDIA BlueField-4のデータ処理装置（DPU）を、帯域外の監視機構として利用します。NVIDIAによると、隔離されたトラストドメインからエージェントの挙動を常時監視し、許可された境界を逸脱したエージェントをミリ秒単位で隔離または停止できます。
このシステムは、エージェント自体から独立して動作するよう設計されています。データ、ツール、アプリケーションプログラミングインターフェース（API）、サービスに関わるリクエストに対して、エージェントのガバナンス制御を適用します。NVIDIAは、これによりエージェントのソフトウェア環境の外側に、独立した強制の層を設けられると説明しています。
NVIDIAによると、OpenShellや関連スキルを含むOpen Agent Safety Platformのソフトウェアは、同社の開発者向けリソースとGitHubから入手できます。
今回の発表の背景には、自律型システムの挙動や権限に対する懸念の高まりがあります。英国の国家サイバーセキュリティセンター（NCSC）は、エージェント型AIに関するガイダンスで、エージェントがシステム、データ、ツールに広範にアクセスできる可能性があると警告していました。また、自律的な活動が高速に進むと、想定外の挙動を検知しにくくなるとも指摘しています。
画像クレジット：Sundry Photography / Shutterstock.com
翻訳元: https://www.infosecurity-magazine.com/news/nvidia-open-platform-secure/
