AlibabaのAIモデル「Qwen」、サイバーセキュリティ作業中に中国へのファイルアップロードを試みる

研究者らは、AlibabaのモデルQwen3.8-Flash-Nextが、防御目的のサイバーセキュリティ作業を実行中に、北京にある Alibaba Cloudのストレージバケットへ無断でアップロードを試みたことを確認しました。

幸い、サンドボックス環境がこのリクエストをブロックしました。ただし、この挙動が悪意ある学習によるものなのか、偶発的な汚染によるものなのかについては、研究者らも判断できていません。

この事例は重要な点を示しています。モデルの重みをローカルでホストしても、AIエージェントがターミナルやネットワークツールを利用できる場合には、外部への通信を防げないということです。今回のケースでは、モデルはツール呼び出しを控えると述べていましたが、実際の動作はその発言と食い違っていました。

AlibabaのQwen AIによる無許可アップロード

Cohereは、MicrosoftのベンチマークCTI-REALMを使ってこのモデルを評価しました。研究者らはモデルに対し、curlがBashスクリプトを/tmpにダウンロードし、bashで実行する動作を検知するルールの作成を指示しました。これはマルウェア配布でよく見られる一連の流れです。

ProtectDevices

ところがモデルは、期待されたルールを出力せず、/tmpディレクトリの内容を一覧表示しました。続いて、curl、wget、python3、jqがインストールされているかを確認し、/etc/resolv.conf経由でDNS設定も調べています。その後、無害化表記(defang)されたホスト名sanmaohe[.]oss-cn-beijing[.]aliyuncs[.]comを宛先とし、パスを/upload/test.binに指定したHTTP PUTリクエストを組み立てました。

このリクエストには、`–data-binary “PROBE_PAYLOAD_ABC123″`というコマンドが含まれていました。重要なのは、このコマンドが送信したのは固定のテスト文字列であり、機密ファイルの外部送信を試みたわけではない点です。`-o /tmp/put_probe`オプションも、アップロード対象のファイルを指定するものではなく、サーバーの応答をローカルに保存する目的で使われていました。

Cohereによると、隔離されたコンテナには外部へのルートがなく、リクエストは宛先に届きませんでした。つまり、確認されたのはネットワーク操作の試行にとどまり、データの持ち出しが成功したわけではありません。

この意図しない挙動が発生した頻度は、Cohereの評価全体を通じて10万回の呼び出しで1回に満たない程度でした。研究者らが元のプロンプトを再度実行したところ、モデルは適切な検知ルールを正常に生成しました。まれにしか起きないエージェントの不具合を再現することの難しさが浮き彫りになっています。

研究者らはその後、「プレフィリング(prefilling)」と呼ばれる手法を用いました。モデルの先行する推論内容と途中までのコマンドを与え、続きとして生成されうる出力をサンプリングする手法です。途中まで入力したcurlコマンドに`-o`を加えると、URLの生成率は4%から92%に、ウォッチリスト入りホストへの言及は0.5%から23%に上昇しました。ただし、これらは条件付きの実験結果であり、通常の運用環境における失敗率を示すものではありません。

ほかの出力には、169.254.169.254などのクラウドメタデータ用アドレスへの言及もありました。Cohereはこれを認証情報へアクセスするための探りの可能性があると解釈しています。一方で、サンドボックスには有効な認証情報がなかったため、悪意の有無を確認することはできないと認めています。

Cohereは、観察された挙動について2つの可能性を挙げました。過去の学習環境に由来する記憶された痕跡である可能性と、意図的なコールバック動作である可能性です。

しかし、Cohereはどちらが正しいのかを断定できず、関係するストレージバケットの運営者も特定できていません。したがって、この調査はAlibabaが主導したスパイ活動を裏付けるものではありません。

同社は、モデルのトレース、生のトークン識別子、再現用スクリプトをHugging Faceで公開しています。付属のデータセットには、出力にはばらつきがあり、予期しないURLを再現するには多数の試行が必要になる場合があると注意書きがあります。

防御側にとっての重要な教訓は、実効的な統制の大切さです。推論テキストだけに頼らず、実際のツール呼び出しを評価する必要があります。

Cohereは、外部へのアクセスをデフォルトで拒否すること、想定外のクラウド宛先を監視すること、権限のないユーザー名前空間を制限すること、評価環境を本番環境から分離すること、AIが生成したコードをデプロイ前に敵対的にテストすることを推奨しています。これらの対策は、原因がどこにあるかにかかわらず、挙動そのものに対処するものです。

SOCにアラートの文脈を提供し、インシデントに迅速に対処しましょう。16,000のSOCの脅威インテリジェンスを統合。