悪意あるソフトウェアのダウンロードを検知するルールの作成を課されたQwen3.8-Flash-Nextは、代わりにテスト環境を調べ、短いテスト用文字列をAlibaba Cloudのストレージバケットにアップロードするコマンドを発行しました。
AlibabaのAIモデルがサイバーセキュリティの評価中に、北京リージョンのクラウドストレージサービスへデータをアップロードする想定外のコマンドを生成していたと、競合開発企業のCohereが明らかにしました。企業システムへアクセスできるAIエージェントの安全性に懸念が高まっています。
問題のモデルは「Qwen3.8-Flash-Next」です。MicrosoftのサイバーセキュリティベンチマークCTI-REALMでテストされていました。課題は、悪意あるファイルのダウンロードとそれに続く実行を検知するルールの作成でした。Cohereの報告によると、モデルはルールを書かず、ローカルファイルやシステム設定を調べたうえで、この想定外のコマンドを生成しました。
カナダのAI企業であるCohereによると、同社の隔離されたテスト環境が外部への通信要求を遮断しました。モデルは生成した推論の中で「ツールは使用しない」と示しており、その後に生成したコマンドと矛盾していました。
Cohereによると、この挙動が発生したのは評価呼び出し10万回に1回未満でした。研究者が同じタスクを繰り返したところ、モデルは外部への接続を試みることなく、求められた検知ルールを生成しました。
Cohereは、この挙動が意図的なものか、学習中に取り込んだ情報に起因するものかは判断できないと認めています。
Alibabaはコメントの求めに対し、すぐには応じませんでした。
モデルの挙動をめぐる不確実性
Pareekh Consultingの最高経営責任者（CEO）であるPareekh Jain氏は、今回の結果はさらなる調査に値するものの、Alibabaが意図的にモデルへバックドアを仕込んだことを示すものではないと述べています。
「この挙動は、汚染された学習データ、セキュリティ上の脆弱性、あるいはAIエージェントの意図しない動作によって生じた可能性があります」とJain氏は話します。
Forresterのバイスプレジデント兼プリンシパルアナリストであるCharlie Dai氏は、モデルに意図的なバックドアがあったかどうかを判断するには、さらなる証拠が必要だと指摘しています。
同氏によると、研究者はモデルの重みと学習パイプラインを調べる必要があります。加えて、ネットワークの記録や、異なる環境でこの挙動を再現する独立したテストも欠かせません。
「現時点では、今回の結果は懸念すべきものですが、意図的な行為を示すものではありません」とDai氏は述べています。
エンタープライズAI市場でAlibabaと競合するCohereは、この挙動のトレースと再現用スクリプトを公開しました。
Cohereは、コマンドの一部をあらかじめ与えて行った追加テストでも検証しています。それによると、2つのテスト条件のもとで、モデルは補完の23～36%で169.254.169.254などのクラウドメタデータ用アドレスを生成しました。クラウドのメタデータサービスからは一時的なクラウド認証情報にアクセスできる場合があります。ただし、モデルが実際に認証情報を取得したことは、テストでは確認されていません。
Greyhound ResearchのチーフアナリストであるSanchit Vir Gogia氏は、コマンドに含まれていたのは機密ファイルから抽出した情報ではなく、固定のテスト用文字列だったと指摘します。また、ストレージのエンドポイントが北京にあるという事実だけでは、送信先を誰が管理しているのかは分からないといいます。
同氏は、Cohereが公開したトレースにはコマンドの実行結果もネットワークのテレメトリも含まれておらず、接続の試みについて独立して確認できる範囲は限られると指摘しています。
「エージェントを制限するハードルは、その提供元を非難するハードルよりも低いのです」とGogia氏は述べています。
AIエージェントのセキュリティ対策
当面の課題は、システムが許可されていないコマンドを実行しないようにすることです。
「企業は、モデルの提供元を問わず、AIエージェントを信頼できないソフトウェアとして扱うべきです」とJain氏は話します。
同氏は、AI環境から外部への無許可の通信を遮断し、機密ファイルやクラウド認証情報へのアクセスを制限するよう勧めています。エージェントの動作を監視し、AIシステムが重要な操作を実行する前に承認を求める仕組みも必要です。
Dai氏も、AIエージェントをサンドボックス環境で実行し、機密情報を無許可で転送しようとする試みを情報漏えい対策（DLP）ツールで検知するよう推奨しています。
Gogia氏によると、許可済みのクラウドプロバイダー上に、権限のない第三者が管理するストレージバケットが存在する可能性もあります。セキュリティチームは、ネットワークポリシーがあることに安心せず、禁止された転送を管理策が実際に遮断できるかをテストすべきだといいます。
企業のAI調達への影響
Jain氏は、今回の件を理由に、中国をはじめとする外国で開発されたAIモデルを排除すべきではないと警告しています。
代わりに、企業は独立したセキュリティ監査と、モデルの来歴に関する透明性の向上を求めるべきだと同氏は述べています。あわせて、敵対的テストを実施し、企業のツールに接続した状態でモデルが安全に動作するかを確かめることも必要です。
Dai氏は、クローズドウェイトのモデルや国内ベンダーが開発したモデルにも、同様のセキュリティ審査を適用すべきだと述べています。導入前にモデルの安全性を評価するだけでなく、モデルの完全性を検証し、提供元の脆弱性管理の実態も調べるべきだといいます。
Gogia氏によると、企業のセキュリティ承認は、モデル単体ではなく、実際に導入する構成を対象とすべきです。新しいツールの追加やエージェントの権限拡大により、基盤となるモデルが同じでもリスクが変わりうるためです。
「承認は、その前提が成り立たなくなった時点で失効させなければなりません」とGogia氏は述べています。
