タグ: Robots.txt

Cloudflare、AIクローラーのアクセスルールを変更

Cloudflareは、ウェブサイト運営者がSearch、Agent、Trainingという3つのカテゴリーにわたってAIトラフィックを管理できる新しいコントロール機能を導入しました。この機能はFreeプランの利用者を含む全てのCloudflare顧客が利用でき、さまざまな種類のAIクローラーが自社コンテンツにアクセ