デジタル考古学：GotMetaが標的ドメインから隠れたデータを発掘

GotMeta

標的ドメイン上で公開されているファイルから、メタデータを発見・ダウンロード・抽出するためのPythonツール。OSINTに有用です。

機能

• ファイルファインダー – 標的ドメイン上で公開されているファイルを検索
• メタデータ抽出 – exiftoolを使用してすべてのメタデータを抽出
• マルチスレッドダウンロード – 高速な並列ファイルダウンロード（デフォルト5スレッド）
• プロキシ対応 – Burp Suiteや他のプロキシ経由でルーティングし、アンチボット保護を回避
• URLリストモード – API検索をスキップし、手動のファイルリストからダウンロード。

メタデータから分かること

• ユーザー名 – Author、Creator、LastModifiedBy
• メールアドレス – Company
• ソフトウェアのバージョン – Application、Producer
• 内部ファイルパス – SourceFileパスからフォルダ構造が判明する可能性
• コンピューター名 – 各種フィールドに現れる場合があります
• 作成日時 – ドキュメントのタイムライン
• GPS座標 – 写真/画像（画像ファイルを対象にする場合）

Google APIクォータ

• 無料枠：100クエリ/日
• 各ファイルタイプの検索は、結果に応じて約1～10クエリを使用

クォータを使い切った場合は、手動で収集したURLで --url-list モードを使用してください

インストール

# リポジトリをクローン
   git clone https://github.com/MrTurvey/GotMeta.git
   cd GotMeta
# 依存関係をインストール
   pip install requests
# メタデータ抽出用にexiftoolをダウンロード
   Windows: https://exiftool.org/
   Linux: sudo apt-get install exiftool
   Mac: brew install exiftool

クイックスタート

ステップ1：Google Cloudプロジェクトを作成

• Google Cloud Consoleに移動（https://cloud.google.com/）
• Googleアカウントでログイン
• 「プロジェクトを選択」→「新しいプロジェクト」をクリック
• プロジェクト名を入力（例：「GotMeta」）
• 「作成」をクリック

ステップ2：Custom Search APIを有効化

• プロジェクトで「APIとサービス」→「ライブラリ」に移動
• 「Custom Search API」を検索
• それをクリックして「有効にする」を押す

ステップ3：APIキーを作成

• 「APIとサービス」→「認証情報」に移動
• 「認証情報を作成」→「APIキー」をクリック
• APIキーをコピー

ステップ4：カスタム検索エンジンを作成

• Google Programmable Search Engineに移動（https://programmablesearchengine.google.com）
• 「検索エンジンを追加」をクリック -任意の名前を入力（例：「GotMeta Search」）-「検索するサイト」では「ウェブ全体を検索」を選択
• 「作成」をクリック
• 検索エンジンIDをコピー（例：94e6b2cd62344413cのような形式）

基本的な使い方

# ドメインからファイルを検索してダウンロードし、すべてのメタデータを抽出
python -u GotMeta.py -d example.com -k YOUR_API_KEY -s YOUR_SEARCH_ENGINE_ID --download --extract-all metadata.csv
# プロキシ経由でアンチボット保護を回避（下のREADMEセクション参照）
python -u GotMeta.py -d example.com -k YOUR_API_KEY -s YOUR_SEARCH_ENGINE_ID --download --extract-all metadata.csv --proxy http://127.0.0.1:8080
# 事前に用意したURLリスト（API不要）を使ってダウンロードし、すべてのメタデータを抽出
python -u GotMeta.py --url-list urls.txt --download --extract-all metadata.csv
# すでにダウンロード済みのファイルからメタデータを抽出
python -u GotMeta.py --extract-only --files-dir ./downloads --extract-all metadata.csv

アンチボット保護

Cloudflareを使用しているサイトなど、一部のサイトは自動ダウンロードをブロックします。これを防ぐには、 プロキシを使用してください

1. BurpSuite / ZAP / などを使ってプロキシ設定したブラウザを開き、標的URLを閲覧します。

2. WAF / Cloudflare / その他のボット対策を手動で通過します。

3. プロキシ経由のコマンドを使用します：

   # 認証済みセッションでBurp Suite経由にルーティング
   python -u GotMeta.py -d example.com -k YOUR_API_KEY -s YOUR_SEARCH_ENGINE_ID --download --extract-all metadata.csv --proxy http://127.0.0.1:8080