EU機関、中国製オープンウェイトAIモデルを検証

EUのサイバーセキュリティ機関と科学研究部門が、ダウンロードしてローカル環境で実行できる中国製のオープンウェイトAIモデルを検証しています。

欧州連合サイバーセキュリティ機関（ENISA）と欧州委員会の共同研究センター（JRC）が、Politicoに対して評価の実施を認めました。The Next Webによると、JRCの調査には米国や欧州のモデルも含まれており、自前の安全なコンピューティング基盤上でシステムを稼働させています。

同様の導入を検討する組織にとって、セキュリティ上の問いは「どのモデルが最も高性能か」にとどまりません。そのモデルがどのようなデータやシステムにアクセスできるのかが問われます。

EUが検証している内容と、依然として不明な点

欧州委員会のマチェイ・ベレステツキ報道官はPoliticoに対し、JRCはこれらのモデルを自前の安全なコンピューティング基盤上で実行しており、欧州委員会が日常業務で使用する予定はないと述べました。ただし、評価対象となっている具体的なモデルも、テスト結果も公表されていません。

別の欧州委員会当局者はPoliticoに対し、JRCの調査で主眼となっているのは安全性やセキュリティではないと語りました。これまでの報道では、調査結果が調達や導入の判断に反映されるかどうかは明らかになっていません。

オープンウェイトAIではセキュリティ対策の責任が導入側に移る

ホスト型のAIサービスでは、プロバイダーがインフラを管理し、サービスレベルで安全対策を徹底できます。これに対し、オープンウェイトモデルはダウンロードや改変が可能で、組織が自社のシステム上で実行できます。つまり、元の開発者は、各コピーがどのように構成されるのか、ユーザーがどの制限を解除するのか、モデルがどのシステムに接続されるのかを一元的に管理できません。

自社のインフラでモデルを運用する組織は、その環境を保護する責任を負います。モデルが動作する環境を守り、機密データや外部ツールへのアクセスを制限し、実際の運用条件下で安全対策が機能するかを検証しなければなりません。 

今回の評価によって、モデルの能力や限界についての理解が深まる可能性はあります。ただし、これまでの報道では、政府機関や企業での利用を承認するためのプロセスとは位置づけられていません。 

それでも、これらのモデルが実際にどこまで安全であり続けるかは、組織がどのように構成、改変し、業務に組み込むかにも左右されます。モデル本体、権限、接続されたツールのいずれを変更しても、導入したシステムのリスクプロファイルは変わり得ます。

導入前にセキュリティチームが確認すべきこと

オープンウェイトAIを検討する組織にとって、ローカル展開はモデルの稼働場所を自ら管理できるという利点があります。しかし、その管理だけで、構築したシステムの安全性が自動的に確保されるわけではありません。チームは、モデル自体に加え、それを支えるソフトウェアや業務リソースへのアクセスについても評価する必要があります。

まず、想定する用途を明確にします。システムがどのような情報を処理するのか、機密記録へのアクセスが必要か、外部ツールを呼び出したりコマンドを実行したりできるのかを洗い出します。文書を要約するだけのシステムと、ファイルの変更や本番システムの操作を許可されたエージェントとでは、必要な評価が異なります。

本番環境へのアクセスを許可する前に、隔離された環境でこれらの権限をテストします。代表的で機密性のないデータを使い、文書やツールの応答に紛れ込んだ悪意ある指示によって、システムが誘導されたり、情報が漏えいしたり、 不正なコードが実行されたりしないかを確認します。アクセスは用途に必要な範囲に絞り、重大な影響を及ぼす操作には人間の承認を必須とします。

変更が生じた場合は、導入内容を再評価する契機として扱います。ファインチューニング、モデルの入れ替え、コネクタの追加、権限の拡大は、いずれもシステムの挙動を変え得るためです。チームは、テストした構成を文書化し、運用状況を監視するとともに、問題が発生した際にアクセスを無効化できる手段を確保しておくべきです。

今回のEUの評価は参考になる背景情報ですが、評価が行われていると報じられていることだけで、特定のモデルが企業での導入に適しているとはいえません。手法や結果が公表されるまでは、テストからどのようなセキュリティ上の結論が得られるのか、組織は判断できません。実務上の教訓は、機密データや業務ツールに接続する前に、想定する運用条件のもとでシステム全体を評価することです。

関連記事: Azure DevOpsにおけるプロンプトインジェクションが、開発者の既存の権限を通じてAIコーディングエージェントに機密データへアクセスさせる手口を解説しています。