AI 数据采集

训练语料、竞品监控、价格追踪、知识库更新，几乎都要先把网页上的信息拿下来。现在有两种做法：自己写爬虫控制细节，或者用数据 API 把渲染、反爬与结构化提取外包出去。同时站点方也在重新定义允许什么，robots 规则、AI 爬虫权限分级、按用途区分的访问控制陆续出现。本标签比较工具能力，也提醒采集前要看清授权范围。