2026 年 7 月 1 日，Cloudflare 在官方博客《Your site, your rules: new AI traffic options for all customers》中公布新的 AI 流量管理方案。网站管理员现在可以分别处理搜索、智能体和训练爬虫，不再只能在“全部放行”和“全部拦截”之间选择。
新选项已向 Cloudflare 所有客户开放，包括免费套餐。网站现在可把搜索收录、代表用户的实时访问和模型训练拆开管理。
三类爬虫的价值完全不同
Search 指为后续查询建立索引的爬取，网站通常希望由此获得展示和回访流量。Agent 指代表真实用户、为完成当前任务而访问页面的自动化行为；它与普通聊天机器人的区别，可以对照站内的AI Agent 与聊天机器人、工作流区别理解。Training 则是把内容用于训练或微调模型，数据会更长期地进入模型能力中。
这种分类比“是不是 AI Bot”更接近站长的真实利益。一个网站可以保留搜索可见性，同时拒绝模型训练；也可以允许为用户执行任务的智能体，而不对所有自动化流量开门。
9 月 15 日后，新域名默认规则会变
Cloudflare 计划从 2026 年 9 月 15 日起，对新接入的域名启用新默认值：在展示广告的页面上，Training 和 Agent 默认拦截，Search 默认允许。已有客户可以在安全设置中提前确认或更改选择。
需要特别注意的是多用途爬虫。如果同一爬虫同时用于 Search 和 Training，系统会按更严格的规则处理。站长若直接禁止 Training，可能影响这类爬虫带来的搜索曝光，因此不宜在没看分类明细前批量开关。
站长应该先做哪三件事
- 核对哪些页面依赖搜索引流，哪些页面包含付费、广告或高价值原创内容。
- 分别设置 Search、Agent 和 Training，不要沿用过去的统一拦截思路。
- 调整后继续观察搜索收录、推荐流量和爬虫访问，再根据实际影响缩紧规则。
Cloudflare 还在扩展 BotBase 和内容使用信号，让网站能区分“仅实时交互”“索引并引用”与“完整摘要或复制”。这和站内之前介绍的Cloudflare AI Index 内容控制方向是同一条主线：内容是否能被 AI 使用，开始从模糊默认转向可分类、可表达、可调整的站长决策。
