Firecrawl站点去重与链接规范

Firecrawl：面向AI应用的Web数据API，抓取搜索爬取一体化，服务智能体与开发者

一、基本信息 Firecrawl是面向生成式AI与数据应用的Web数据API，提供页面抓取、网站爬取与网页搜索三大能力，目标是把互联网内容转换为适合大模型处理的干净数据。平台支持Markdown、JSON、HTML以及截图等多种输出格式，可通过Python、Node等SDK或REST接口集成，适用于...