ToolNavs 发现实用AI工具
提交工具 登录
返回AI百科
文本分块是什么?切得太碎答不全,切得太大又答偏

文本分块是什么?切得太碎答不全,切得太大又答偏

AI百科 • Admin • • 11 次浏览

文本分块是把长文档切成一小段一小段再存进知识库的做法:一本书、一份合同或一整套帮助文档不会整篇塞给模型,而是先切成几百到上千字的小块,每块单独做向量化,用户提问时只捞出最相关的几块交给模型作答。它是 RAG 链路里最不起眼、却最能决定答得准不准的一步。

为什么不能整篇塞进去

整篇文档直接进上下文有三个问题:窗口装不下、装得下也贵,而且模型在一大堆无关内容里找答案更容易被带偏。切成小块后,检索环节可以只挑相关段落,成本和噪声都降下来。代价是文档被人为拆散,前后文关系要靠切法保住。

切法常见的三种

按固定字数硬切最简单,但容易把一句话、一个表格拦腰截断;按段落和标题切更贴合原文结构,说明书、制度类文档适合这种;还有一类按语义切,话题变了才下刀,效果好但实现更复杂。多数工具还会在相邻块之间留一段重叠(overlap),让被切断的上下文在下一块开头再出现一次,避免答案正好卡在切口上。

太碎和太大,分别坏在哪

切得太碎时,单个块里信息不完整:问“报销上限是多少”,捞回来的块只有“超过部分需副总审批”,关键数字在上一块里,模型只能含糊作答甚至编一个数。切得太大时,一块里混了好几个话题,向量被平均得谁也不像,检索排名上不去;就算捞回来,模型也要在长段落里自己找重点,出错概率跟着涨。

三个常见误解

第一,分块不是越小越精准,它换来的是定位细,丢掉的是语境。第二,重叠不是越多越好,重叠太高等于同一内容存了好几份,检索时前几名全是近亲,挤占其他相关块的位置。第三,答不准不全是模型的错:知识库问答效果差,先回头看切法和块大小,往往比换模型更管用。

实际调的时候没有通用最优值:条款、问答类文档可以切小些,叙述性长文要切大些并保留标题层级。判断标准只有一个——拿真实问题去测,捞回来的块能不能独立支撑正确答案。

推荐工具

更多