カメラを通して世界を認識するロボットは、今や大規模視覚言語モデル(LVLM)を活用して見たものを解釈し、次の行動を決定するようになっています。これらのモデルは画像とテキストを同時に扱うため、カメラのフレーム内に入った文字はすべて入力の一部として扱われます。一時停止の標識、通りの名前、壁に貼られたステッカーなども例外ではありません。
攻撃の核心にある「考えすぎ」という挙動
ミシガン工科大学の研究者たちは、この読み取り習慣が攻撃者に付け入る隙を与えることを明らかにしました。その先にあるのは、これまで防御側が想定してきたものとはまったく異なるタイプのサービス拒否(DoS)問題です。
今回の研究が標的とするのは「オーバーシンキング(overthinking、考えすぎ)」と呼ばれる挙動です。推論志向のモデルは、単純な質問に対してさえ、長大な思考の連鎖を生成してしまうことがあります。推論にかかる時間は生成されるトークン数にほぼ比例して増加するため、1文で済むはずの回答が数段落にも膨れ上がれば、応答の遅延も同様に膨らみます。研究者たちは、この傾向を武器に転用しました。ロボットのカメラに映るように短い文章を仕掛けることで、モデルを長時間の推論に引き込み、意思決定を遅延させるのです。
LVLMベースのロボットシステムに対する、オーバーシンキングを誘発する速度低下攻撃の例(出典:論文)
使い古された攻撃の新たな装い
これまでのAIセキュリティに関する報道の多くを思い浮かべてみてください。モデルを騙して保護すべきデータを漏洩させたり、本来拒否すべき発言を引き出したりする手口が大半でした。しかし今回の攻撃はまったく異なるアプローチを取ります。狙うのは古典的なセキュリティトライアドの3本目の柱、可用性です。目的は、システムを処理過多の状態に陥らせ、時間内に応答できなくすることにあります。
アイデア自体は古典的なものです。標的が処理しきれないほどの作業を送りつけ、機能停止に追い込む――その仕組みは目新しくありません。今回変わったのは、その「配送方法」です。過負荷は、看板に書かれたごく普通の文字として届きます。人間であれば読んで素通りする程度の、何の変哲もない文言です。
攻撃者はモデルの重みへのアクセスも、開発者が隠した非公開プロンプトを覗き見ることも、凝ったピクセル操作やセンサーへの細工も一切必要としません。攻撃に必要な能力は、カメラが捉える場所に、人間にも読める大きさとフォントで印刷した看板を置くこと、それだけです。
歯車を詰まらせる「言葉」を見つけ出す
ただし、どんな文章でもこの効果が得られるわけではありません。研究者たちがランダムな段落をシーンに紛れ込ませてみたところ、ロボットはそれをほぼ無視し、何も置かれていない場合とほぼ同じ速度で応答しました。効果を発揮するトリガーは意図的に設計する必要があり、その設計方法こそが本研究の真の貢献と言えます。
研究者たちがたどり着いた「レシピ」は、複数の要求を一枚の看板に積み重ねるというものでした。物理の文章題、生死を分ける道徳的ジレンマ、疑似コードを書かせる指示、答えを出す前に推論過程を説明させる命令。これらはいずれも単独でモデルに長い出力を促す効果を持ちます。これらを組み合わせると、モデルはすべてを同時に満たそうとしてもつれ、即座に決断する代わりに、自問自答と堂々巡りを繰り返すようになります。
こうした組み合わせを手作業で作るのは膨大な手間がかかるため、研究チームは探索を自動化しました。最も効果的な要素同士を掛け合わせ、世代を重ねるごとに変異させながら、最も大きな速度低下を引き起こしたものを残していく、いわば「最も紛らわしいものが生き残る」仕組みです。特に巧妙なのは、各候補の評価方法です。オーバーシンキングによる完全な応答が出力されるまでには長い時間がかかるため、何千もの候補をテストするのは非常に手間がかかります。そこで研究者たちは、トリガーの最初の数十語だけを見れば効果を判定できることを発見しました。堂々巡りの兆候はほぼ即座に現れるためです。これにより、膨大な候補群を低コストでふるいにかけ、最も有望なごく一部の候補だけに時間のかかる完全なテストを実施できるようになりました。
結果を注意深く読み解く
この論文における最大の注目値は、約7倍という速度低下ですが、これには読んでおくべき注記が付いています。この結果はGemma3というモデルで得られたもので、このモデルは研究者たちがトリガーを作成する際に使用したモデルと近い関係にあります。つまりこれは、攻撃者が標的について既に熟知している場合に得られる、いわば最良のケースに近い結果と言えます。より重要な問いは、これらの看板がトリガー作成時にまったく調整対象としていなかったモデルにも効くかどうかです。Kimi-VLとQwen3-VLという2つのモデルで試したところ、効果は確認されたものの、その度合いは緩やかで、1.5倍から3.5倍程度の速度低下にとどまりました。それでも実害のある遅延ではありますが、7倍には遠く及びません。
研究チームはまた、この攻撃を実験室から実際の部屋へと持ち出しました。小型ロボットにカメラを取り付け、規制標識のようなA3サイズの紙にトリガーを印刷して視界内に設置したのです。あるモデルはライブカメラ映像下で著しく速度が低下し、通常時の約5倍の遅さになりました。他のモデルもおおむね2倍程度に遅くなりました。この実験中ロボットは一度も動かなかったため、これが証明するのはあくまで実際の光学系のもとでの遅延であり、衝突や人的被害についてはこの実験からは何も分かりません。
最後の検証が、この結果に一段の説得力を与えています。研究者たちが、以前のテキストのみを対象とした研究の攻撃プロンプトを、そのまま看板に印刷して試したところ、そのほとんどは効果を発揮しませんでした。チャットボットを混乱させるプロンプトであっても、ロボットが壁からそれを読み取り、カメラが捉えた光景と照らし合わせて判断しなければならない状況では、ほぼ無害と化してしまうのです。この設定で効果を発揮させるには、トリガーをこの用途向けに専用設計する必要がありました。
朗報は、対策が非常に簡単なこと
ここで朗報があります。この対策にはほとんどコストがかかりません。トークン数の上限を設定し、厳密なタイムアウトを設け、応答が長引いた場合には制限付きのフォールバック方針に切り替えればよいのです。軽量な監視機構によって出力冒頭のトークンを監視し、本格的な暴走が始まる前に処理を打ち切ることも可能です。警告サインはたいてい早い段階で現れるためです。
この対策のシンプルさは、リスクの大きさを相対的に物語っています。この攻撃が通用するのは、無制限に推論を続けるモデルを、時間的制約のあるループの中で稼働させているシステムに限られます。そうしたシステムを構築するどのチームも、トークン予算の設定と早期警告の仕組みを導入するだけで、この弱点を塞ぐことができます。
翻訳元: https://www.helpnetsecurity.com/2026/07/15/robot-ai-overthinking-attack/
