ToolNavs 发现实用AI工具
提交工具 登录
返回AI百科
长上下文压缩(Context Compression)是什么?为什么模型上下文越来越长,它反而更重要

长上下文压缩(Context Compression)是什么?为什么模型上下文越来越长,它反而更重要

AI百科 • Admin • • 123 次浏览

长上下文压缩说的不是简单删字,而是把长材料里的关键信息尽量保留下来,用更短、更可喂给模型的形式重新组织。这个概念会越来越重要,恰恰是因为上下文窗口越来越长了。窗口变大不代表你就该什么都往里塞,真正的问题变成:哪些内容值得保留,哪些只是占位置。

为什么“窗口更长”反而让压缩更关键

  1. 长材料一旦全塞进去,成本和延迟会一起涨。
  2. 无关信息越多,模型越容易被干扰,不一定更准。
  3. 很多任务真正需要的不是全文,而是结构、结论、条件和关键证据。

它通常怎么压

方式目的
摘要压缩提炼长文本主线与关键点
结构压缩保留标题层级、表格关系和锚点
检索压缩只把相关片段送进当前上下文
记忆压缩把历史对话折成更短的长期状态

长上下文压缩会变热,不是因为大家不想要大窗口,而是因为行业开始意识到:上下文长度只是资源,真正决定效果的是上下文质量。也就是说,压缩不是退而求其次,而是长上下文时代的主动设计能力。

相关文章

语音到语音(Speech-to-Speech)是什么?为什么它被认为比“语音转文字再播报”更接近自然对话

语音到语音(Speech-to-Speech)是什么?为什么它被认为比“语音转文字再播报”更接近自然对话

语音到语音,通常指模型直接从语音输入到语音输出完成理解和生成,而不是先把声音转成文字、再把文字交给语言模型、最后再转回语音。它之所以越来越热,是因为这种路线更接近人类真实对话,也更有机会保留语气、停顿...

KV Cache 是什么?为什么一聊大模型推理加速和长对话成本,就总会提到它

KV Cache 是什么?为什么一聊大模型推理加速和长对话成本,就总会提到它

KV Cache 是 Transformer 推理阶段里非常关键的一层缓存机制。简单说,它会把模型已经算过的一部分 Key 和 Value 先存起来,后面继续生成时直接复用,而不是每次都从头重算。也正...

少样本学习是什么?给模型看几个例子,它为什么就能照着做

少样本学习是什么?给模型看几个例子,它为什么就能照着做

少样本学习是让大模型只看几个示例,就照着示例的格式和标准完成新任务的一种用法。使用者不需要重新训练模型,只需要在提问时先给出两三组输入和期望输出,模型就会从这些例子里归纳出规律,再把同样的处理方式用到...

提示注入是什么?藏在网页和文档里的话,也能命令你的 AI

提示注入是什么?藏在网页和文档里的话,也能命令你的 AI

提示注入是把指令藏进模型会读到的外部内容里,让模型误把数据当成命令来执行的一种攻击方式。它不修改代码,也不破解系统,只是利用大模型会认真阅读上下文的特点,把要求混进网页、文档、邮件或图片文字中,模型读...

推荐工具

更多