Cloudflareは、ウェブサイト運営者がSearch、Agent、Trainingという3つのカテゴリーにわたってAIトラフィックを管理できる新しいコントロール機能を導入しました。この機能はFreeプランの利用者を含む全てのCloudflare顧客が利用でき、さまざまな種類のAIクローラーが自社コンテンツにアクセスする方法について、ウェブサイト運営者により多くの制御権を与えます。
「コンテンツ所有者は依然として自らのコンテンツを保護できるべきであり、苦労して制作・整理・共有したオリジナルコンテンツに対しては相応の対価を得るべきです。また、コンテンツの制限は一律の解決策では対応できないことも承知しています。ウェブサイト運営者は『すべての自動化を常にブロックする』という選択肢以外にも、もっと多くの選択肢を求めています」と、CloudflareのプロダクトマネージャーであるJin-He Lee氏と、プロダクト担当ディレクターのBryan Becker氏は説明しています。
新たなAIクローラー制御機能
同社は、単純な許可・ブロックのモデルを超えてボット制御機能を拡張しました。ボットをAIか非AIかで分類するのではなく、Search、Agent、Trainingといった機能ごとに分類するようになり、ウェブサイト運営者はそれぞれに個別のポリシーを適用できるようになりました。
この更新されたフレームワークは、ボットがコンテンツをクロールした後にどのように利用するかを考慮したものです。プロバイダーには、透明性とアクセス制御を向上させるため、機能ごとに異なるクローラーを使い分けることが推奨されています。
2026年9月15日以降、新規ドメインのデフォルト設定が変更されます。広告を表示するページでは、TrainingクローラーとAgentクローラーがデフォルトでブロックされる一方、Searchクローラーは引き続きデフォルトで許可されます。
SearchとTraining両方の機能を持つ多目的クローラーは、双方のポリシーに基づいて評価されます。ウェブサイトがTrainingクローラーをブロックする場合、Googlebot、Applebot、BingBotなどの多目的クローラーは、Searchクローラーが許可されている場合でもブロックされます。この変更は2026年9月15日に発効します。
新しいデフォルト設定を望まないウェブサイト運営者は、9月15日より前にセキュリティ設定からオプトアウトできます。これにより、Search機能も担うTrainingクローラーについては現行の動作が維持されます。Cloudflareは、顧客が設定を確認・更新する時間を確保できるよう、変更前に通知するとしています。
BotBaseがEnterprise Bot Managementの可視性を拡張
既知のボット(検証済みボットやAIエージェントを含む)を検索可能なデータベースであるBotBaseは、Enterprise Bot Managementの顧客に対し、Cloudflareの更新されたボット分類体系に基づいて、分類状況や挙動を一元的に把握できるビューを提供します。
BotBaseを使うことで、管理者はCloudflareが検証済みとして保有するボットのカタログを閲覧し、特定のボットを検索し、その分類を確認し、個々のボット単位でトラフィックをフィルタリングし、セキュリティルールで利用する検出IDをコピーできます。
同社は今年後半にさらなる制御機能を追加し、顧客が同一のインターフェースから自動化トラフィックを管理できるようにする計画です。
コンテンツ利用制御
Cloudflareは、Enterprise Bot Managementの顧客がボットによるクロール後のコンテンツ利用方法を定義できる、コンテンツ利用制御機能を追加しています。3段階のレベルは、Immediate(保存・再利用なし)、Reference(インデックス化、抜粋、リンクバック)、Full(要約または複製)です。
同社は、こうした希望を表明するための新たな利用パラメータを加える形で、robots.txt内のContent Signalsフォーマットを拡張しています。robots.txtはこの設定を強制するものではありませんが、Cloudflareは検証済みボットが表明された希望に従っているかどうかをBotBase経由で報告する予定です。こうした希望を無視したり、コンテンツを全文複製したりする検証済みボットは、検証済みステータスを失う可能性があります。
これまでは、すべての検証済みボットがデフォルトで許可されていました。新しいモデルでは、検証はボットの身元のみを確認するものとなります。アクセスの可否は、そのボットの分類と、Search・Agent・Trainingいずれのクローラーを許可するかを含むウェブサイト運営者のポリシーに依存します。
Cloudflareはまた、検証プロセスの透明性を高める計画も進めており、ボット運営者が自らの分類や検証済みステータスを管理できるツールを開発中です。
AIエージェントのための推移的信頼(トランジティブトラスト)
Cloudflareは、サードパーティプラットフォームを経由して動作するAIエージェントやボットを対象とした、推移的信頼モデルを提案しました。同社は、標準のHTTP Forwardedヘッダーを使用して、仲介者の背後にいる本来のリクエスト元を特定する計画です。このヘッダーには、use=referenceのような、運営者が表明したコンテンツ利用方針も含めることができます。
これにより、ウェブサイト運営者は、リクエストを処理する仲介者ではなく、本来のボット運営者に基づいて信頼・アクセスポリシーを適用できるようになります。同社は、この手法がすべてのユースケースに適するわけではなく、特にプライバシーや匿名アクセスが重要となる場面では適さない可能性があることも認めています。
翻訳元: https://www.helpnetsecurity.com/2026/07/02/cloudflare-ai-crawler-controls/
