AI業界でセキュリティ論議が過熱するなか、NVIDIAがエージェント向けオープンソースツールを公開

高度なAIシステムが関与するサイバー攻撃への懸念が、一般社会と政策立案者の双方で高まっています。こうしたなか、NVIDIAはAIエージェント向けの新たなオープンソースのセキュリティプラットフォームを公開しました。

NVIDIAによると、「Open Agent Safety Platform」は「エージェントを動かすソフトウェア、ハードウェア、コンピュート、ロボティクスの各システムを、フルスタックで統制・制御するための、オープンなソフトウェアプラットフォームとリファレンスシステム設計」となります。

Anthropic、Arm、Microsoft、SpaceXAI、Palantir、JPMorgan Chaseなど、AI業界の100を超える組織が、自社製品のセキュリティ向上のためにこのプラットフォームを採用すると表明しています。

NVIDIAは、AIエージェントによる「暴走」ハッキングへの対策として、より強固なサンドボックスと高度な監視を戦略の柱に据えています。プラットフォームには、エージェントの活動を封じ込め、制限するための2つのツールが用意されています。 

関連する技術ブログによると、Apache 2.0のオープンソースソフトウェアをベースにした「OpenShell」は、サンドボックスのテスト環境でAIエージェントの実行時の動作を保護するツールです。AIシステムの運用者は、エージェントに与えるファイル、ネットワーク、ツール、プロセス、認証情報を定義できます。企業ネットワークに導入する前に、こうしたガードレールが機能するかどうかも検証できます。

プラットフォームには、NVIDIAのデータ処理装置（DPU）「Bluefield 4」（「チップ上のデータセンター」と呼ばれることもあります）向けのセキュリティ更新も含まれます。これにより、AIエージェントの挙動をアウトオブバンドで監視し、セキュリティポリシーを適用できるようになります。

NVIDIAのジェンスン・フアンCEOはXで、このプラットフォームを「安全なエージェントシステムのための信頼レイヤーを構築する、オープンなエコシステムの始まり」と位置づけました。

NVIDIAは、米国の商用AI産業の多くを支える先端半導体を製造しています。Anthropic、OpenAI、Metaなどのモデルがテスト中にサンドボックスの保護を突破し、実在する組織に侵入する事案が起きました。これを受け、AnthropicのダリオCEO・アモデイ氏やOpenAIのサム・アルトマンCEOを含む一部のAI業界リーダーは、AIシステムは高度すぎて封じ込められないとの見方を示しています。

フアン氏はこうした見解に批判的です。フロンティアAI企業とそのサプライチェーンのパートナーはセキュリティ体制を改善すべきだと主張しています。先週には、成長を促進するものでない限り、AI業界に対する政府の規制や義務付けには反対だと語りました。

フアン氏は月曜日のCNBCのインタビューで、サンドボックス化をはじめとするAIセキュリティの大きな課題は「技術的に解決可能な問題」だとの考えを示しました。

「答えは、これがエンジニアリングの問題であってほしいということだと思います」とフアン氏は語りました。「私はエンジニアリングの問題だと信じていますし、そうだと分かっています。そうであってほしいと、私たち全員が願う必要があります。[そうでなければ]解決できません。これらの企業がいまも最先端を切り開き続けているのは、解決可能だと信じているからでもあります」

Above SecurityのCEO、アビブ・ナフム氏はCyberScoopに対し、今回のNVIDIAの発表は、モデルの訓練だけでは安全性を確保できないという業界の認識を反映していると語りました。 

NVIDIAは本質的に、エージェントが現実の環境で安全に動作するには「強制力の一部をモデルの外側に置く必要がある。エージェントが推論で回避したり、改変したりできない層に置くべきだ」と主張しているといいます。

「今回の発表が示しているのは、モデルのアライメントはセキュリティエンジニアリングの代わりにならないという、サイバーセキュリティの基本原則に業界がようやく収れんしつつあるということだと思います」とナフム氏は述べました。「サンドボックス、ID、最小権限、独立した監視、封じ込めは、新しい考え方ではありません。新しいのは、自律的に動作できるほど高性能なソフトウェアが登場し、これらの原則を適用しないことの影響がはるかに大きくなったことです」