Cloudflare 宣布启动 AI Index 私测,定位为“可补偿的网页索引”。启用后,平台会为网站自动生成面向 AI 的优化索引,并提供标准化 API(含 MCP 服务器、LLMs.txt 与搜索 API)。站点所有者可拥有并控制该索引的使用方式,并通过 Pay per crawl 与即将到来的 x402 计费集成对 AI 访问实现结算。与此同时,AI 构建者可通过 AI Index 获取经许可的、更新及时的数据,避免“盲爬”。
该项目与 Cloudflare 年内推进的“默认拦截 AI 爬虫”和“按次付费爬取”政策同向:以许可为前提,提供清晰的用途标注与收费路径。官方现已开放私测申请表,区分站点所有者与 AI 构建者两类入口;详细计费与覆盖范围将随测试推进逐步公布。
常见问题
Q:AI Index 为站长提供了什么?
A:自动生成可用于站内搜索与对外许可的 AI 优化索引,并可通过 Pay-per-Crawl/x402 对 AI 访问计费。
Q:AI 团队能获得什么?
A:可获取经站点许可的高质量、更新及时的数据源,用于训练或检索,减少版权与合规风险。
Q:与“默认拦截 AI 爬虫”的关系?
A:在默认拦截基础上,AI Index + Pay-per-Crawl为“愿付费且说明用途的访问”提供合规通道。
Q:是否已全面开放?
A:当前为 Private Beta,需提交申请;后续功能与价格以官方公告为准。
Q:技术上包含哪些组件?
A:MCP 服务器、LLMs.txt、搜索 API 等标准化接口,便于双方集成与计量。