AIIndex默认拦截爬虫

Cloudflare 启动 AI Index 私测：奖励内容创作者、为 AI 构建者提供更优数据

Cloudflare 宣布启动 AI Index 私测，定位为“可补偿的网页索引”。启用后，平台会为网站自动生成面向 AI 的优化索引，并提供标准化 API（含 MCP 服务器、LLMs.txt 与搜索 API）。站点所有者可拥有并控制该索引的使用方式，并通过 Pay per crawl 与即将到来...