RAG
讲清检索增强生成是怎么工作的,以及 Embedding、向量数据库和重排序在企业知识库问答里各自扮演什么角色。
讲清检索增强生成是怎么工作的,以及 Embedding、向量数据库和重排序在企业知识库问答里各自扮演什么角色。
文本分块是把长文档切成一小段一小段再存进知识库的做法:一本书、一份合同或一整套帮助文档不会整篇塞给模型,而是先切成几百到上千字的小块,每块单独做向量化,用户提问时只捞出最相关的几块交给模型作答。它是 RAG 链路里最不起眼、却最能决定答得准不准的一步。 为什么不能整篇塞进去 整篇文档直接进上下文有三...
Firecrawl 值得用吗,先看它解决的是哪一步麻烦:它把“抓网页”做成了一个专门喂给大模型的服务——你给它网址,它还你去掉导航、广告和杂音的干净 Markdown 或结构化 JSON,省掉自己拼无头浏览器、代理和清洗脚本的那一整套活。对做 AI 搜索、知识库和智能体的人来说,这一步恰恰是最耗时间...
DeepSeek 的 Search 与 Fetch API 于 2026 年 10 月 17 日正式上线,DeepSeek 在官方 API 文档中,把自家 App 背后使用的搜索引擎开放给了所有开发者。此前想让程序调用 DeepSeek 的搜索能力,只能用它自家产品里的联网搜索;现在搜索与抓取被拆成...
PaddleOCR 是百度飞桨团队维护的开源 OCR 工具包,专门把 PDF 和图片里的文字连同版面结构一起抽成机器能用的数据。它在 GitHub 上长期热门,不是因为新奇,而是因为很多团队做知识库、发票处理、文档问答时,第一步都卡在同一件事上:文档是图片格式的,大模型读不了,得先有人把文字和表格结...
Databricks 文档智能的实时 REST API 在 2026 年 10 月 14 日由 Databricks 官方博客宣布正式可用(GA):文档解析、分类与字段抽取三个接口结束预览,负责分流决策的接口同期进入 beta。变化听起来只是状态升级,实际改的是企业处理合同、发票和理赔材料的时序——...
MinerU 是这两年文档解析领域绕不开的开源项目:把排版复杂的 PDF 转成干净的 Markdown 或 JSON,公式变 LaTeX、表格变 HTML、扫描件自动走 OCR,正好卡在大模型训练和 RAG 知识库最缺高质量语料的点上。它在 GitHub 上已有 5 万多 star,但 star 数...
Docling 解决的是把 PDF 喂给大模型之前最容易被低估的一关:版式。普通提取工具把 PDF 按字符顺序倒出来,双栏读串行、表格塌成一片、标题和正文混在一起,下游模型再聪明,也只能在一堆乱序文本里猜。Docling 的做法是先理解页面结构,再输出干净的 Markdown 或 JSON,在 Gi...
Perplexity 的新嵌入模型把文本和图片放进了同一个检索空间。2026 年 10 月 7 日,Perplexity 首席执行官阿拉温德·斯里尼瓦斯宣布开源 pplx-embed-v2-late,权重已发布到 Hugging Face,采用 MIT 许可。这是一组多向量嵌入模型,包含 9B 与 ...