- Nvidia、「最近のセキュリティインシデント」を受け、自律型エージェントへの制限を強化
- ソフトウェアとハードウェアの新たな安全対策により、エージェントが暴走しても防御壁を確保
- 100社以上の顧客がすでにこの原則に沿った取り組みに合意
Nvidiaは、新たなOpen Agent Safety Platformを発表しました。自律型AIエージェントが「脱走」し、定められた境界を越えて行動するのを防ぐことを目的としています。
AIによる攻撃を伝える憂慮すべき報告が最近相次いでいます。これを受けて同社は、安全性をAIモデルやアプリケーションに組み込まれた保護機能だけに頼るべきではないと認めました。コンピューティングやハードウェアレベルの制御も、より強固な防御壁として併用すべきだとしています。
同社は発表の中で、「最近のセキュリティインシデントにより、オープンでカスタマイズ可能なツールを組織に提供する必要性が浮き彫りになりました」と述べています。
自律型AIエージェントの制御を一段と多層化
Open Agent Safety Platformは、2つの主要な制御機能で構成されます。1つはNvidiaが「セキュアなランタイム境界」と説明するソフトウェアベースのOpenShell、もう1つはBlueField-4 DPU上で動作するハードウェアベースの「監視役」Sentryです。
同社CEOのジェンスン・フアン氏は、「安全性とセキュリティには、フルスタックのエンジニアリングが欠かせません。NVIDIA Open Agent Safety Platformは、産業界、研究者、公共部門の組織を結集し、ベストプラクティスの共有、評価手法の統一、国際協力の促進を目指します」と総括しました。
既存のモデルレベルの安全機構は、AIに特定の振る舞いをしないよう「指示」するものです。これに対し、ソフトウェアレベルのOpenShellは技術的な境界を設け、エージェントがその指示を無視することを実際に阻止します。またNvidiaは、Sentryならわずか数ミリ秒でAIエージェントを隔離して停止できると主張しています。
SpaceXAI、Anthropic、Microsoftなど100社を超える顧客が、Nvidiaのソフトウェアとハードウェアによる安全対策をすでに利用しています。
今回の発表は、AIエージェントが意図された制御の範囲を超えて動作した注目度の高い事例が複数起きた後のものです。ただ、Nvidiaが支援する今回の安全対策は新しくても、根底にある原則は新しいものではありません。同社が改めて強調しているのは、最小権限、隔離（隔離措置）、詳細な監視といった、すでにおなじみの原則の重要性です。
フアン氏は「AIの能力の最前線を探究し続ける中で、AIの安全性の最前線における発見も加速させなければなりません」と付け加えました。
