AIにCAPTCHAを解かせる訓練

興味深い研究が発表されました。

要旨:視覚言語モデル(VLM)は、タスク固有の訓練なしでも視覚型CAPTCHAを解けます。しかし、VLMを土台にしたエージェントは、どの課題にもゼロから取り組みます。見慣れたパズルの100回目でも、1回目と同じ時間と計算量がかかります。一方、専用の検出器は逆のトレードオフにあり、数ミリ秒で答えを出せますが、訓練済みのカテゴリにしか対応できません。どちらも、経験を重ねても性能は向上しません。本研究では、使うほど改善するソルバーでは何が変わるのかを調べました。私たちのシステムは、ファインチューニングしたYOLOv8検出器とオープンウェイトのVLMを、信頼度に基づくルーターの後ろに組み合わせています。ブラウザ自動化やDOMアクセスは使わず、スクリーンショットとオペレーティングシステムの入力イベントだけで動作します。16クラスで全体の正解率は85.4%、マクロ正解率は84.2%に達し、いずれの構成要素単体も上回りました。VLMが出した答えはすべて訓練ラベルにもなるため、検出器は未学習のカテゴリでも、通常は1、2回遭遇しただけで、人手のアノテーションなしに習得します。同じ仕組みは、検出器の修復にも役立ちます。CAPTCHAの運営者は、公開された検出器に対して画像に摂動を加え、その正解率を0%まで落とせます。ところが、この摂動はVLMには影響せず、VLMのラベルによって検出器は回復します。運営者が毎月摂動を作り直す1年間のシミュレーション上の軍拡競争でも、ソルバーは毎回回復しました。正解率が約70%の安価なオープンウェイトの教師モデルでも、完全なオラクルと同等の強化効果が得られました。したがって、失敗するボットは失敗し続けると想定する視覚型CAPTCHAの防御は、適応型ソルバーがどれほど早く復活するかを過小評価しています。