「中国製AIは排除した」と思っても油断は禁物、Ciscoが警鐘

自社の技術スタックから中国製AIをすべて排除したと考えているなら、もう一度確認する必要があるかもしれません。

米国政府は中国製AIを国家安全保障上の脅威とみなす姿勢を取っています。この認識だけでも、愛国心のある米国人であれば「中国製」というラベルの付いたAIを避け、そのラベルのないAIを選ぼうとするかもしれません。しかしCiscoは、国名によるラベル表示がモデルの系譜や特性を正確に示すものではないことを示す新たな研究結果を、VAILとの共同研究として公表しました。

「『米国対中国』というAIの罠――AIセキュリティの不完全な代替指標」と題されたブログ記事の中で、Ciscoは「provenance entanglement(来歴の絡み合い)」と呼ぶ現象により、国名ラベルだけではAIモデルの構成要素を完全には把握できないと主張しています。

研究者たちは2種類のAIモデル指紋認証手法を用いてモデルの重みと挙動パターンを分析した結果、これらが必ずしもモデルの公表元の名称や原産国を正確に反映しているわけではないことを突き止めました。

研究者らは、AIモデルにも独自のSBOM(ソフトウェア部品表)に相当するものが必要だと提案していますが、そこには困難も伴うと指摘します。「依存関係はマニフェストファイルに記載されているわけではなく、学習済みの重みそのものに埋め込まれている」からです。これは、モデルの開発元が白紙の状態から学習を行うのではなく、既存のチェックポイントを使ってファインチューニングを行うことが多いためです。つまり、モデルはラベルに表示された国とは異なる国で生まれた別モデルから、重みやバイアス、挙動パターンを受け継ぐ可能性があるのです。米国製のモデルが中国製モデルから受け継いだ挙動を含んでいる場合もあれば、中国製モデルが米国的な特性を受け継いでいる場合もあり得ます。

Ciscoによれば、AIのラベルに記載された開発元や原産国という情報にも一定の価値はあるといいます。責任を負うべき開発元、適用される法域、「承認された」調達プロセスなどを把握する手がかりにはなるからです。しかし、モデルの内部に実際に何が存在しているかを正確に評価するものではありません。

今回の研究対象にはNemotronとQwenのモデルが選ばれました。一部のNemotronモデルがQwenのベースウェイトを使用していることが判明していたためです。

研究者たちは、CiscoのModel Provenance Kitと、VAILのBehavioral Fingerprintingを用いて、この2つのモデルファミリー間に残存する関係性を調査しました。前者はアーティファクトを内側から検証する手法であり、後者は推論時の挙動を外側から検証する手法です(それぞれこちら、こちらを参照)。

「いずれの手法においても、Qwenのベースウェイトから構築されたNemotronモデルは、偶然の一致で説明できる範囲を大きく超えて、Qwenモデルと類似していることが判明しました」。研究者たちが最終的に導き出した結論は、追加学習(post-training)や公表元名称の変更を行っても、上流モデルファミリーとの間に検出可能な関係性が必ずしも消え去るわけではないというものです。

これは重要な指摘です。というのも、モデルの系譜は、SBOMが生み出されるきっかけとなったソフトウェアサプライチェーンの脅威と同様の問題を引き起こしかねないからです。研究者たちは例として次のように述べています。「もし上流モデルに後からバックドアや系統的なバイアス、悪用可能な挙動が発見された場合、組織はどの下流モデルを精査すべきか把握しておく必要があるでしょう」

研究者たちは、AIを効率的に活用する上で改善が必要な3つの領域を挙げています。

企業は、特定のモデルの採用を検討する際、「公表元の身元情報はパズルの一片に過ぎない」と捉えるべきです。デューデリジェンスには、系譜、学習時の依存関係、挙動分析、運用上の管理体制などを含める必要があり、ラベルに記載された名称そのものは潜在的リスクの代替指標にはなりません。

規制当局は、モデルの系譜に起因する脆弱性やバイアス、制約について正確な実態を把握するために、モデルの上流依存関係についてより深い理解を持つ必要があります。

AI開発者は、系譜の開示を任意ではなく標準的な取り組みとして扱うべきです。あらゆる物事と同様、透明性こそが最良の消毒剤であり、それによって利用者は、あるモデルを自社の技術スタックに組み込む前に、その上流の依存関係を理解できるようになります。

地政学的な文脈では、完成されたモデルは往々にして、ラベルに表示された原産国だけで単純に語られがちです。しかしこれは、見落としや誤った同一視を生む恐れがあります。

「モデルの部品表(bill of materials)を整備すれば、ベースとなるチェックポイント、派生手法、主要なデータセット、合成データ生成器、教師モデルや報酬モデル、ライセンス、そしてデプロイ後にアクセス権を持つ主体などを記録することで、責任あるAI導入を後押しできるでしょう。技術的な指紋認証は、こうした開示情報の裏付けとなったり、さらなる精査が必要な関係性を特定したりする助けになります。業界がこれを標準的な取り組みとするために、規制の整備を待つ必要はありません」

したがって、研究者たちはこう結論付けています。原産国のラベルには一定の意味があるものの、それがモデルの技術的な系譜を定義するわけではありません。「モデルにはパスポートはありません。あるのはサプライチェーンです」