AI企業Perplexityがクローラーのブロックを回避するためにこっそり行動しているとCloudflareが主張

人工知能スタートアップのPerplexityが、ウェブページの体系的な閲覧やスクレイピングに対するネットワークブロックを回避するために、隠密な手法を使用していると、Cloudflareは月曜日のブログ投稿で述べました。

この疑わしい行為により、Cloudflareは顧客からの苦情を受け、Perplexityに対して措置を講じました。

「クローラーは透明性があり、明確な目的を持ち、特定の活動を行い、そして何よりもウェブサイトの指示や希望に従うべきだという明確な前提があります」とCloudflareのエンジニアは書いています。「Perplexityの観察された行動はこれらの前提と一致しないため、認証済みボットから除外し、この隠密なクロールをブロックするヒューリスティックを管理ルールに追加しました。」

これは、CloudflareがAIシステムによるクロールへの対応として講じた最新の措置であり、先月の発表では、顧客がウェブクローラーによる自社ウェブサイトやデータのスクレイピングをブロックしたり、料金を請求したりできるようになりました。

robots.txtファイル（検索エンジンクローラーにウェブサイトのどの部分にアクセスできるかを指示するファイル）でPerplexityのクロール活動を禁止した顧客は、Perplexityが依然として自分たちのコンテンツにアクセスできていたとCloudflareに伝えました。

「これらの顧客は、Perplexityがボットのブロックが成功しているのを確認しても、依然としてコンテンツにアクセスできていたと話しました」とCloudflareは述べています。「私たちは、Perplexityのクローラーが実際に問題となっている特定のページでブロックされていることを確認し、さらに観察できる正確な行動を特定するためにいくつかのターゲットテストを実施しました。」

Perplexityの広報担当者およびメディア用メールアドレスにコメントを求めるメールは、すぐには返答がありませんでした。しかし、広報担当のJesse Dwyer氏はTechCrunchに対し、Cloudflareのブログ投稿は単なる「セールストーク」に過ぎず、投稿内のスクリーンショットは「コンテンツがアクセスされていないことを示している」、そしてCloudflareが名指ししたボットは「そもそも当社のものではない」と述べました。

Perplexityは過去にも非倫理的なウェブスクレイピングの疑いをかけられたことがあります。最近では、BBCがコンテンツのスクレイピングをめぐって同社を提訴すると警告しており、これはAI企業が直面している多くの訴訟の一つです。一方で、一部の組織はPerplexityを含むAI企業と契約を結んでいる例もあります。

Cloudflareはブログ投稿の中で、OpenAIがクローラーやブロック行動に関する推奨される慣行に従っている企業の一例であると述べています。