自社のインフラでオープンウェイトのAIモデルを運用する組織は、本来ならAIプロバイダーが担う安全対策やセキュリティ対策を、自ら用意しなければならない可能性があります。MicrosoftとNVIDIAは、こうしたモデルのリスク管理に関する共同ホワイトペーパーで、このように警告しています。
オープンウェイトモデルとは、学習によって得られた値である「ウェイト」が公開されており、誰でもダウンロードして検証、改変、実行できるAIモデルです。これに対し、クローズドウェイトモデルは開発元の企業が手元で管理しており、通常はオンラインサービスを通じて利用します。
著者らは「ウェイトが公開されているかどうかだけで、AIシステムのリスクが決まるわけではありません」と述べています。リスクはモデルそのもの、用途、そして周囲の安全対策によって変わるといいます。
Microsoftのパートナー・セキュリティ保証マネージャーであるMichael Scovetta氏は、「オープンウェイトモデルもクローズドウェイトモデルも、根本にあるリスクの多くは共通しています。ただし、そのリスクがどう現実になるかは、導入の形態によって異なります」と述べました。
違いは、誰が対策を提供するかにあります。クローズドウェイトモデルでは、プロバイダーがガードレールやセキュリティ監視を提供していることが多くあります。一方、オープンウェイトモデルは、ファイル単体で配布されるのが一般的です。ウェイトを手にした組織は、モデルの安全に関する挙動を変更したり、取り除いたりできます。同文書は、プロバイダーが運用する保護機能は「もはやあらゆる場面で強制できるわけではない」と指摘しています。
Scovetta氏は「企業は、モデルを何に使うのか、その状況で何が起こり得るのか、リスクを管理するためにどのような証拠と対策が必要なのかを理解しておく必要があります」と付け加えています。
MicrosoftとNVIDIAのガイダンスは、リスクを5つの分類（サイバーセキュリティ、データ保護、コンテンツ、人間とAIのやり取り、バイアス）に整理し、さらに30の具体的なリスクタイプに分けています。
改ざんされたモデル
オープンウェイトモデルは、組織の手元に届くまでに、改変や再パッケージ、再配布が行われている可能性があります。そのため、元の開発者が組み込んだ安全対策が失われているかもしれません。MicrosoftとNVIDIAによると、モデルのファインチューニング、マージ、圧縮を行うと、組み込まれた保護機能は弱まる一方で、タスクの性能は維持されることがあります。
両社が勧めるのは、暗号署名を使って、入手したファイルが最初に公開されたものと一致することを確認し、「挙動の前に出所を確立する」ことです。ホワイトペーパーには「どれだけ挙動テストを重ねても、成果物が何であるかは確定できません。わかるのは、どう振る舞うかだけです」とあります。署名のないモデルは、完全性を未解決のリスクとして記録すべきだとしています。
ProjectDiscoveryは最近の調査で、公開データセットとレンタルのGPUを使い、AlibabaのオープンウェイトモデルQwen2.5-7B-Instructにバックドアを仕込みました。このモデルをOpenAIのCodex CLIで動かしたところ、トリガーを検知した時点でプロジェクトの認証情報を渡したといいます。研究者らは「スタック内のモデルがこのようにバックドア化されていても、現在運用中のほぼどの仕組みも気づかないでしょう」と記しています。
セキュリティ専門家のBruce Schneier氏は、この調査結果について「信頼できるAIの実現は困難です。AIシステムは、通常のソフトウェアが抱えるあらゆるサプライチェーン攻撃に対して脆弱です」とコメントしました。
別の研究では、Pillar SecurityとFujitsu Research of Europeが、モデルに組み込まれたメモリをわずかに書き換えるだけで、持続的なバックドアを仕込めることを示しました。「BadEngram」と名付けられたこの攻撃は、DeepSeek-V4.1-FlashやQwen3.8-Flash-Nextといった新しいモデルが、学習した内容を想起するために使うメモリを標的にします。
管理された実験では、変更が及んだのはモデルのパラメータの約0.02%でした。別のテストでは、バックドアをQwen3.8-Flash-Nextのメモリ内に閉じ込めることにも成功しています。両社は「元の開発者が、すべてのコピーやその後の改変を制御することはできません」と指摘しました。
信頼性と悪意あるモデルファイル
F5 Labsの研究者らは、中国のオープンウェイトモデルに関する調査で、次のように指摘しています。「信頼性は深刻な問題です。これらはオープンウェイトではあってもオープンソースではなく、利用者の管理が及ばないところで作られたモデルだからです。多くの場合、学習データは開示されておらず、学習パイプラインの完全性も保証されていません。特定のファインチューニングが、不透明な理由で組み込まれているリスクもあります」
研究者らは、これとは別のサプライチェーンリスクにも注意を促しました。モデルファイルは従来、Pickle形式で配布されることが多くありました。この形式は、信頼できないファイルを読み込むと任意のコードが実行される恐れがあり、攻撃者は悪意あるモデルファイルに実行可能なペイロードを隠してきました。このため、「リポジトリ単位のスキャンを、安全の保証とみなすべきではありません」と記しています。
F5は「もちろん、オープンウェイトモデルは中国発のものに限りません」とし、Falcon、MetaのLlamaシリーズ、GoogleのGemmaモデル、フランスのMistralなどを挙げました。そのうえで「どれもセキュリティ上の制約と無縁ではありません」と述べています。
導入後の監視
ガイダンスによると、導入前のチェックは問題を減らせるものの、なくすことはできません。MicrosoftとNVIDIAは、モデルの新しい派生版、配布元リポジトリの変更、新たな悪用手法、新たに報告された脆弱性を監視するよう推奨しています。
ウェイトの再学習や再配布は、新たな脅威への対応が後手に回る可能性があります。そのため組織には、入力フィルタリング、出力のモデレーション、アクセス制限、レート制限、人による監督など、素早く更新できる多層的な対策を維持することが推奨されています。ホワイトペーパーは「攻撃者も同じ情報をもとに動く可能性があるため、企業は影響を評価し、速やかにリスクを軽減すべきです」と付け加えています。
この文書は、両社が計画しているシリーズの第1弾です。今後の文書では、モデルを取り巻くシステムやアプリケーションを扱う予定です。リスク分類はGitHubで公開されており、誰でも改訂を提案できます。
翻訳元: https://www.helpnetsecurity.com/2026/10/19/open-weight-ai-model-risks-microsoft-nvidia/
