ウェブサイト運営者、ページ読み込みの99％超をボットが生成と報告

米国の慈善家に関する150万ページのデータベース「PatronView」の運営者は2026年8月7日、計測した1週間に配信されたページの99％超を自動トラフィックが占めたと述べた。この一人称の記録は、実際の訪問者によるアクセスを維持しながら、クローラーを特定し制限しようとした1年間の取り組みを記録している。

対象となった週に、サーバーは250万件の外部リクエストに応答し、128万ページを完全な形で配信した。ブラウザー解析で記録されたページビューはわずか5,977件で、配信された約214ページにつき、観測された人間による閲覧は1件だった。この比較は、JavaScript解析がサーバー負荷を過小評価し得る理由も示している。多くのボットはトラッキングコードを実行しないからだ。

PatronViewは、公開されている米内国歳入庁（IRS）への提出書類、寄付者名を掲示した壁、年次報告書からプロフィールをまとめている。所有者は、それらの情報源を定期的にスクレイピングしていることを認める一方、そうした収集と、サイト全体を繰り返し巡回するクローラーを区別している。検索最適化ボットは当初、`robots.txt`とCloudflareのファイアウォール規則を通じて遮断された。

その後、トラフィックはより分散するようになった。2025年11月には、見かけ上約4,000人の訪問者がそれぞれ、参照元なしで資金調達ページを1ページずつ読み込んだ。4月22日には、サイトは36万1,844個のIPアドレスから360万件のリクエストを受け、そのほぼすべての位置情報が中国を示していた。Cloudflareのマネージド・チャレンジは10時間で118万件のリクエストを処理したが、多くのクライアントがこれを通過した。その後、運営者は中国を遮断し、同様のトラフィックが現れたベトナムとシンガポールも続けて遮断した。

こうした国全体を対象とする遮断は、正当な利用者にも影響を与える明白なリスクを伴う大まかな対応である。著者はPatronViewの利用者層を根拠に、これを正当化した。実際の検索トラフィックの95.9％は米国から、1.3％はカナダから来ていた。これらの数値と分類は独立した監査ではなく、ある運営者のログと解析に基づくものであり、追跡されていないリクエストが自動的に悪意あるものと証明されるわけではない。

AI検索クローラーは、測定可能な費用対効果の問題を突き付けた。ある1週間に、AnthropicのClaude-SearchBotは42万680ページをリクエストした一方、人がサービスにページ取得を依頼した際に使用されるClaude-User経由の訪問者は12人だった。著者は、紹介1件当たり3万5,000ページがクロールされたと算出し、クローラーには4.63ギガバイトを配信したのに対し、紹介された利用者には175キロバイトを配信したと報告した。

PatronViewがファイアウォールでClaude-SearchBotを遮断した後、リクエストは1日約6万件から約25回の試行に減少し、そのクローラーが拒否に従ったことを示唆した。運営者は比較指標として「紹介された訪問者1人当たりのクロールページ数」を採用し、Googleには価値があり、Bingは効率が劣るものの妥当だと判断した。

この経験は、ボット管理が単一のフィルターではないことを示している。そこでは、サーバーログ、解析、アクセス頻度のパターン、地理情報、ユーザーエージェント、ファイアウォールの応答、そして正当なアクセスまで遮断する副作用に対する運営者の許容度が組み合わされる。PatronViewの数値はウェブ全体を代表するものではないが、控えめな規模の人間の利用者層の陰に隠れ得るインフラ負担を明らかにしている。サーバー側での計測は引き続き不可欠である。