Cloudflare 从 Pay Per Crawl 升级到 Pay Per Use,并将默认拦截混合用途 AI 爬虫
2026年7月1日 Cloudflare 宣布新政策:Pay Per Crawl 演进为 Pay Per Use,出版方在内容被 AI 产品实际引用/使用时获得付费,首批合作方为 Ceramic.ai 和 You.com;自2026年9月15日起,对含广告页面默认拦截"混合用途"(搜索/agent/训练混合)的爬虫。Cloudflare 数据显示,截至6月初机器人已占其网络 HTML 流量的 57.4%,其中训练类爬虫占 50.6%,搜索类仅 10.7%。
**为什么重要**:品牌与出版方的内容如何被 AI 抓取、引用与计费的基础设施规则正在被重写,直接影响内容分发与 GEO 策略。
查一次自家内容站的 AI 爬虫姿势,赶在 9 月 15 日新规前
Cloudflare 9 月 15 日起对含广告页面默认拦截“混合用途”爬虫,而机器人已占其网络 HTML 流量的 57.4%。查三处:CDN/WAF 的 AI 爬虫设置现在是放行还是拦截;服务器日志里 GPTBot/ClaudeBot/PerplexityBot 的抓取量;你的策略到底是“欢迎引用换曝光”还是“内容付费才能用”——没有明确策略的品牌,9 月后是被动挨拦。