# Cloudflare、Perplexityのクローラーは身元を変えて隠れていたと主張
同社によると、この回答エンジンはクロール拒否のシグナルを無視し、ユーザーエージェント、IP、ASNを切り替えながらクロールを続けた。
NeoTechNews編集部
Cloudflareは、Perplexityが通常のスクレイピングを超える行為をしたと非難している。同社は詳細なブログ投稿で、Perplexityが当初は明示されたユーザーエージェントを使用し、遮断されるとユーザーエージェント、IP、自律システム番号を変更するという、隠密なクロール行動を確認したと述べた。Cloudflareによれば、このパターンは、サイトがクロール拒否の意思を示した後にクローラーの身元を隠そうとする試みだったように見えるという。
これは、通常の通信量やレート制限をめぐる議論を超えるため、重大な主張だ。ここで問題となるのは透明性である。Cloudflareによると、ウェブサイト側は自らの意向を明確に示していたが、Perplexityのクローラーはそれでも動作を続け、検知を逃れるために身元を変えたように見えた。同社はまた、このクローラーがrobots.txtファイルを無視し、場合によっては取得すらしなかったと述べている。これが正確なら、設定ミスではなく、サイト所有者の指示を意図的に回避しようとしたことを示唆する。
このブログ投稿は、行動の対比を示している点でも興味深い。Cloudflareによると、ChatGPTの明示されたクローラーはrobots.txtを取得し、許可されていなければ停止し、ブロックページに遭遇した後にも停止したという。この比較は、責任あるクロールがどうあるべきかについて同社が展開する主張の一部である。すなわち、目的が明確で、身元が可視化され、サイト側の意向を尊重し、ネットワークレベルの遮断をすり抜けようとしないことだ。
Cloudflareは、対応としてPerplexityを認証済みボットの一覧から外し、マネージドルールセットにヒューリスティックを追加したと述べた。これは、ボット管理が単に迷惑なトラフィックを止めるだけでなく、ウェブ上で許容される行動を定義することでもあるため重要だ。プラットフォーム提供企業が、あるクローラーは隠密に動作していると表明すれば、その状況は技術上の問題であると同時に信頼の問題にもなる。
市場におけるPerplexityの役割も、この問題が注目を集めた理由を説明する。AI回答エンジンとして、同社はウェブコンテンツへの大規模なアクセスに依存しているが、アクセスできることと許可されていることは同じではない。Cloudflareの投稿は、クローラーは明確な目的を持ち、透明性を確保し、robots.txtやその他のシグナルを尊重すべきだと論じている。より多くのAI製品がウェブ検索と自動要約に依存するようになる中、この基準の重要性は増している。
より広範な影響はPerplexityだけにとどまらない。人気のAIサービスが、遮断された後に身元を隠したと非難され得るなら、サイト所有者はより強力な防御策と明確なボット方針を一層強く求めるようになるだろう。AIシステムがオープンウェブへの依存を深めるのと同時に、クロールがより敵対的なものになる可能性がある。言い換えれば、ここでの緊張は一企業だけの問題ではない。ボットが目に見えるルールに従うという前提に立って、ウェブが機能し続けられるかどうかという問題だ。
現時点で、証拠から導かれる要約は明快だ。Cloudflareによると、Perplexityのクローラーはサイト側の意向を尊重せず、訪問先サイトからどのように見えるかを変えることで動作を続けようとした。これにより同社は、アクセスと引き換えにAIクローラーがウェブに対してどのような責任を負うのかをめぐる、より広範な議論の渦中に置かれている。
