生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘さ ...

Twitter（現・X）で、Google以外の検索エンジンのクローラーを巡回させないよう設定されたことが判明して波紋を呼んでいる。 これはTwitterが設置している「robots.txt」ファイルに7月25日ごろに加えられた変更によるもので、GoogleのクローラーであるGooglebotだけ ...

Perplexityは生成AIを利用した検索エンジンであり、ユーザーの質問に対してAIが直接回答を生成できるほか、ユーザーのプロンプトに基づいたウェブページを生成する「Pages」という機能を提供しています。そんなPerplexityが、検索エンジンやAIトレーニングなど ...

Cloudflareは2024年12月10日、ユーザのサイトを訪れるAI企業やサービスによるボット、クローラーのアクセス状況を監視し、アクセスの制御を行うサービス 「AI Audit」 （⁠AI監査） の開始をアナウンスした。 Robotcop: enforcing your robots.txt policies and stopping bots before ...