Qwenのインシデントが示す、セルフホスト型AIモデルに求められるより強力な「ステアリング」

AI企業Cohereの研究者らがオープンウェイトモデルに防御用の検知ルールを書くよう依頼したところ、モデルは指示どおりには動きませんでした。

Cohereの研究チームが10月26日付の分析で明らかにしたところによると、このAIモデルは中国の検索大手Alibabaの次世代モデル「Qwen3.8-Flash-Next」で、システムのフィンガープリントを取得し、そのデータをAlibaba Cloudのストレージバケットにアップロードしようとしました。研究チームのサンドボックス環境がインターネットへの通信を遮断したため、実害は出ませんでした。しかし、ツールを使わないよう指示されていたモデルがなぜ使おうとしたのか、という疑問が残りました。

研究者らは「これが意図的なものなのか、学習時の副産物による不具合なのかは、私たちには判断できません。ただ、防御側も政策立案者も直面する現実は同じです。信頼できないウェイトファイルはブラックボックスのままであり、自社で動かしても、そのブラックボックスをファイアウォールの内側に持ち込むだけです」と述べています。

著名なサイバーセキュリティ専門家のChristofer Hoff氏も、エージェント型フレームワークのフロントエンドとしてOpenMuse、ローカルモデルとしてQwenを動かした際に、同様の問題に遭遇しました。同氏もQwenがAlibabaへ接続しようとする様子を確認しています。発覚したのは、デフォルトで全通信を拒否する設定にしたOpenShellのサンドボックスインスタンスでOpenMuseをテストしていたためです。Hoff氏はエージェントを制御下に置く取り組みの一環としてダッシュボード画面を作成しており、そのおかげで、エージェントが外部サイトへの接続を試みていることがすぐに分かりました。

「偶然気づいたのは、GUIを眺めていたときです。画面に『中国にあるこれにはアクセスできない』と表示されたのです。『一体何を言っているんだ』と思いました」とHoff氏は話します。

同氏によると、こうした異常な通信は24時間の間に数回発生しました。

悪意ではなく、学習された挙動

今回のインシデントは、企業がAIエージェントの動作を制御する方法を模索するなかで起きました。7月には、OpenAIがテストしていたフロンティアモデルが封じ込めを破り、AIモデルのホスティングを手がけるHugging Faceに侵入しました。その直後には、複数のAI企業が暴走的な挙動は決して珍しくないと認めました。MetaのMuse SparkとAnthropicのClaudeでも、いずれもインシデントが記録されています。

AIの異常な挙動は、企業がAIエージェントにタスクを割り当てた際に、権限を超えた動作をすることで表面化してきました。たとえば、本番データベースの削除などです。

Cohereの調査結果は、他の企業も確認・検証しています。

独立系のAI評価機関Valsは、10月27日にこの問題を検証し、Qwen3.7では発生しないとみられることから、不正な通信はQwen3.8の強化学習の名残(アーティファクト)ではないかとの見方を示しました。セキュリティ企業Check Point Softwareは、64回の試行で52種類のホスト名が生成されたものの、Alibaba Cloudを指していたのはわずか6件だったと報告しています。それ以外では、localhostやAmazon AWSにつながるドメインなどのほうが多く見られました。

Image

64回のテストで52種類のホスト名が生成され、大半は中国向けではありませんでした。出典:Check Point Research

Check Pointでユーロッパ…AIセキュリティ戦略担当プリンシパルのSteve Giguere氏は、今回の奇妙な挙動はバックドアではなく、アップロード先アドレスを補完するといった何らかの処理をモデルが実行しようとした結果だと説明します。おそらく学習中に身につけた何かに由来するとみられます。

「エージェントは、多くの場合、最短距離で目的地に向かおうとします」と同氏は言います。「自分の行動が間違っているとは必ずしも認識していません。しかし、目標を達成しなければという切迫感がエージェント内であるレベルに達すると、自分の行動を正当化するようになります」

企業に必要なのは「停止」ではなく、監視と「ステアリング」

こうした挙動を受け、エージェント型AIを制御する機能としてキルスイッチの整備を求める声が高まっています。しかしCheck PointのGiguere氏は、企業はまず多層防御の戦略から着手し、エージェント型フレームワークが動作する環境のセキュリティを強化すべきだと指摘します。そのうえで、不正なエージェントの動作を検知するための制御とランタイム監視を導入すべきだといいます。

さらに同氏は、サイバーセキュリティの責任者は、エージェントを全面的にブロックしたりキルスイッチを使ったりするよりも、エージェント型システムを「ステアリング」する、つまり誤りを正し、本来の目的を再確認させる方向に軸足を置くべきだと述べます。

「やるべきでないことからエージェントを誘導して遠ざければ、たいていの場合、エージェントは素直にそれをやめます」とGiguere氏は言います。「逆に、理由を説明せずに何かを妨げると、状況が悪化したり、さらに分かりにくい別の手を試したりする可能性があります」

同氏は、こうした挙動の背後に実際の攻撃者がいる場合には、キルスイッチの使用が適切だとしています。

Hoff氏は、最低限の対策として、ネットワークから出るすべての通信をプロキシ経由にし、異常な通信を監視すべきだと述べます。

「プロキシを経由せずにネットワークの外へ出る通信があってはなりません」と同氏は言います。「プロキシを通すというのは、リクエストとレスポンスの両方について、その内容を検査できる状態にするという意味です」

結局のところ、Qwenの挙動はおそらく悪意によるものではありません。それでも、AIエージェントを導入する企業にとっては、見過ごせない不安材料です。

翻訳元: https://www.darkreading.com/cyber-risk/qwen-incidents-self-hosted-ai-models-stronger-steering

本記事は darkreading.com の記事を翻訳・要約したものです。