見えないものを暴く:Scrapfly Anti-bot DetectorでWebセキュリティを検査

Image

Scrapfly Anti-bot Detectorは、セキュリティ研究者、Web開発者、ボット検知愛好家が以下を特定・分析するのに役立つ、Manifest V3対応のChrome拡張機能です:

  • CAPTCHA:reCAPTCHA、hCaptcha、FunCaptcha、GeeTest、Cloudflare Turnstile
  • アンチボットシステム:Cloudflare、Akamai、DataDome、PerimeterX、Shape Security、AWS WAF、Imperva、Kasada など
  • フィンガープリンティング手法:Canvas、WebGL、Audio、Font、WebRTC、Performance、Navigator、Storage など、その他のブラウザ・フィンガープリンティング手法

機能

多層検知システム

  • DOM解析:スクリプト、クラス、HTML要素を検出
  • ネットワーク監視:Cookie、ヘッダー、URLを分析
  • ペイロード解析:URLパターンとHTTPメソッドのフィルタリングにより、リクエストボディを検査
  • JavaScriptフック:21種類のフィンガープリンティングAPIカテゴリ(Canvas、WebGL、Audio、Performanceなど)をインターセプト
  • Windowプロパティ:グローバルスコープ内のアンチボットオブジェクトをチェック

モダンUI

  • リアルタイム検知:信頼度スコア付きのライブ検知結果
  • バッジインジケーター:拡張機能アイコンに検知件数を表示
  • 検知履歴:ブラウジングセッションをまたいで検知されたシステムを追跡
  • 高度なキャプチャツール:reCAPTCHA、hCaptcha、FunCaptcha、GeeTest、Akamai、DataDome、Cloudflare Turnstile、Imperva、Shape Security、AWS WAF向けの専用ツール
  • 中間ページの処理:リダイレクト前のチャレンジページからデータを自動取得
  • ルールエディター:完全なCRUD操作で検知ルールをカスタマイズ・管理
  • 設定パネル:キャッシュ期間、履歴上限、URLブラックリスト、デバッグモードを設定

パフォーマンス最適化

  • スマートキャッシュ:12時間の検知キャッシュとsessionStorage同期による即時更新
  • パターンキャッシュ:コンパイル済み正規表現パターンのLRUキャッシュ(60〜80%高速化)
  • 早期終了:高信頼度の一致が見つかった時点で検知を停止
  • 遅延評価:有効化された検知器に基づくオンデマンドのデータ収集
  • バッチ処理:DOM走査とストレージ書き込みを最適化
  • フック完了:2秒の非アクティブタイムアウト(最大ウィンドウ8秒)

プライバシー&セキュリティ

  • データ収集なし:すべての検知はブラウザ内でローカルに実行
  • CSP準拠:インラインイベントハンドラやunsafe-evalは不使用
  • コンテキスト分離:MAINとISOLATEDワールドを適切に分離
  • 安全な条件:事前コンパイル済み評価器(eval/任意コード実行なし)

使い方

基本的な検知

  1. Webサイトにアクセス:拡張機能が自動的にページをスキャンします
  2. ポップアップを開く:拡張機能アイコンをクリックして結果を表示します
  3. 詳細を表示:任意の検知カードをクリックして詳細を確認します
  4. 結果をコピー:コピーボタンで検知データをエクスポートします

高度なキャプチャツール

システム 機能
reCAPTCHA キャプチャ開始、セレクタ取得、SiteKey抽出、コールバック検知
Akamai キャプチャ開始、センサーデータ抽出
Imperva Cookie確認、スクリプト分析、キャプチャ開始
Shape Security ヘッダー確認、スクリプト分析、キャプチャ開始
AWS WAF Cookie確認、スクリプト分析
hCaptcha SiteKey抽出、スクリプト分析
FunCaptcha 公開鍵抽出、スクリプト分析
GeeTest チャレンジパラメータ抽出、スクリプト分析
DataDome Cookie確認、スクリプト分析
Cloudflare Turnstile SiteKey抽出、スクリプト分析

ルールエディター

  1. 検知器を閲覧:カテゴリ(アンチボット、CAPTCHA、フィンガープリンティング)別にすべての検知ルールを表示
  2. ルールを編集:検知パターン、信頼度スコア、設定を変更
  3. メソッドを追加:新しい検知メソッド(Cookie、Header、URL、Content、DOM、Window、JS Hooks、Payload)を作成
  4. パターンオプション:正規表現、単語全体一致、大文字小文字の区別を設定
  5. インポート/エクスポート:JSONファイルでルールを共有

設定

  • キャッシュ期間:検知キャッシュの有効期限を設定(1〜24時間)
  • 履歴上限:履歴アイテムの最大数を制御(10〜500)
  • URLブラックリスト:特定ドメインを検知対象から除外
  • デバッグモード:Service Workerコンソールへの詳細ログを有効化
  • 自動クリーンアップ:履歴の自動期限切れ

ダウンロード

翻訳元: https://meterpreter.org/exposing-the-invisible-inspect-web-security-with-the-scrapfly-anti-bot-detector/

ソース: meterpreter.org