企業は、暗号署名による検証、敵対的テスト、継続的な監視を組み合わせ、AI導入全体にわたるリスクを管理すべきだとされています。
MicrosoftとNvidiaは、オープンウェイトAIモデルのセキュリティを、導入の全段階を通じて評価するよう企業に呼びかけています。モデルの重みや構成を変更すると、割り当てられたタスクをこなす能力が保たれていても、安全対策が弱まる可能性があると警告しています。
両社は先週公表した共同論文で、5つのカテゴリーにまたがる30種類のリスクを特定し、その評価、緩和、監視の手順を示しました。ガイダンスでは、企業に対して、モデルの出自を検証し、実際に導入する構成をテストし、重大な変更の後にリスクを再評価するよう求めています。
論文は「重みが公開されているかどうかだけでは、AIシステムのリスクは決まりません」と指摘しています。「リスクは、モデル、ユースケース、導入形態、安全対策によって左右されます」
このフレームワークが対象とするのは、サイバーセキュリティ、データ保護、コンテンツ、人間とAIの相互作用、バイアスの5分野です。サイバーセキュリティのカテゴリーには、悪意あるコードの生成、悪意あるツール呼び出し、モデルの安全ポリシーの抽出、過剰なトークン生成、システム本来の目的から逸脱した挙動などが含まれます。
両社がブログ記事で説明したところによると、この論文はNISTとISOの既存のリスク管理標準を踏まえたものです。オープンウェイトAIの導入に伴うリスク管理を扱う連載の第1弾にあたります。
モデルの変更が安全対策を弱める恐れ
オープンウェイトモデルは、ファインチューニングや他モデルとのマージ、改変、用途別の再パッケージが可能です。しかしMicrosoftとNvidiaによると、こうした変更によって、本来のタスクを問題なくこなし続けていても、モデルの安全保護が弱まることがあります。
両社は「安全面の挙動は、タスク性能と比べて壊れやすいことが多い」と記しています。モデルの重み、ファインチューニング、量子化、構成を変更すると、「タスク性能を維持したまま、安全対策が劣化する」場合があるといいます。
これは企業のセキュリティチームにとって難題です。変更の影響で安全でない要求への応答が変わってしまっても、モデルは日常的なタスクでは正確な結果を返し続けることがあるためです。両社は、安全性と能力を別々に評価し、実際に導入する特定のモデル構成をテストし、大きな変更の後には評価をやり直すよう企業に勧めています。
論文は「どれだけ挙動テストを重ねても、分かるのはアーティファクトがどう振る舞うかであって、それが何であるかではありません」と述べています。そのうえで、暗号署名を使い、モデルが公開元の元のアーティファクトと一致することを確認するよう推奨しています。
論文は「署名が利用できない場合は、評価結果でリスクが解消されたとみなさず、未検証の完全性を未解決のリスクとして記録すべきです」と推奨しています。
Gartnerは企業に対し、独立した敵対的テスト、モデルファイルの静的スキャン、導入前後の出自検証を推奨しています。同社が提案する審査プロセスでは、モデルの入手元の確認、ファイルの完全性チェック、敵対的テストの実施、承認済みモデルの企業内レジストリへの登録も求めています。
セキュリティはモデルの外にも及ぶ
MicrosoftとNvidiaは、モデル単体を評価しても、それを組み込んだアプリケーションの安全性は確認できないと注意を促しています。
論文には次のように書かれています。「モデル評価だけでは、エージェントやアプリケーションの安全性は確認できません。企業は、権限、データアクセス、接続されたツール、実行時の挙動、運用上の統制も評価する必要があります」
ガイダンスは、想定する運用環境でモデルを評価し、モデル、ランタイム、ハーネス、アプリケーションの各レイヤーで統制を維持するよう勧めています。導入後は、モデルの入力、出力、ツールの使用状況を監視することも求めています。
Gartnerによると、オープンウェイトモデルの通信は、管理されたAIゲートウェイを経由させる必要があります。これにより、認証、プロンプトインジェクション対策、機密データの保護、監査ログの記録を徹底できます。
同社はさらに、セルフホスト型のランタイムを隔離するほか、他の導入形態に適した統制を適用するよう推奨しています。クラウドAPIを利用する場合は、プライベートネットワーク経路や顧客管理の暗号鍵などが該当します。
Gartnerの調査問い合わせサービスには、オープンウェイトモデルに関する顧客からの問い合わせが寄せられています。その件数は、2026年第2四半期に第1四半期比で30%以上増えたといいます。同社は、企業のAIユースケースに占めるオープンウェイトモデルの割合が、レポート時点の20%から2028年までに50%へ拡大すると予測しています。
人員体制と責任の所在が重要に
Greyhound Researchのチーフアナリスト、Sanchit Vir Gogia氏は、セルフホストでは、安全対策の維持に必要な人材とプロセスも企業が見込んでおく必要があると述べました。
Gogia氏は「セルフホストはインフラの判断であるのと同じくらい、人員体制の判断でもあります。運用を担う人材も、モデルとともに移る必要があります」と語りました。
同氏は、セルフホストにすればマネージドサービスで得られる安全対策をすべて置き換えることになる、と決めつけないよう注意を促しています。同氏の見立てでは、大きな差が生じうるのは、プロバイダーが担う不正利用の調査機能です。一方、利用者側の責任範囲は、サービスとその構成によって変わります。
Gogia氏は、MicrosoftとNvidiaの論文は有用な指針を示しているものの、重要な領域が今後の課題として残されていると指摘しました。著者らは、続く論文でリスク管理のガイダンスをランタイム、ハーネス、アプリケーションの各レイヤーへ広げるとしています。
Gogia氏は「より鋭い問いは、新たなストリッピング手法が登場したときに、モデルの再テストとパッチ適用を契約上誰が負うのか、という点です」と述べました。CISOに対しては、本番ワークロードを承認する前に、モデル、導入形態、想定用途を評価するよう勧めています。また、セキュリティチームはベンダーが作成した分類体系だけに頼らず、自らリスク登録簿の管理権を保持すべきだと助言しています。
