上下文工程是决定大模型每次调用时能在上下文窗口里看到什么内容的做法,包括系统指令、工具定义、检索到的资料、对话历史、记忆和工具返回的结果,目标是让模型在每一步都拿到刚好够用的高信号信息。这个说法在2025年6月流行起来,Anthropic在同年9月的指南里把它定义为在推理过程中筛选并维护最优token集合的一系列策略。
上下文工程和提示词工程、RAG有什么区别
三者的范围不一样。提示词工程只负责写好一条指令;RAG只负责从知识库里检索出相关的几段资料放进窗口;上下文工程管的是全部内容在每一轮里的进出:写什么指令、检索什么资料、保留几轮对话、旧记录怎么压缩、工具结果用完要不要删。LangChain在2025年7月把常用做法归纳为四类:写入、筛选、压缩、隔离。
窗口越大不等于越能干活。Chroma在2025年7月测试了18个模型,发现输入越长,模型表现越不可靠,这就是常说的上下文腐烂。而且token就是成本,塞满窗口等于多花钱还降质量,筛选本身就是在省钱。
常见的三个误解
第一个误解是把它等同于提示词工程,写好提示词只是其中一环,工具、记忆和历史记录同样要管。第二个误解是资料塞得越多越好,低信号内容会把关键信息挤到模型注意不到的位置。第三个误解是一次配好就不用管,智能体每跑一轮都会产生新的工具结果和对话,上下文必须每轮重新整理,否则越跑越偏。
什么时候值得做上下文工程
多轮智能体最需要它,比如客服助手每轮只保留用户当前问题、订单状态和最近几轮对话,旧工单记录压缩成摘要,用完的工具结果及时删掉。单次问答和固定模板生成则没必要,提示词写清楚就够了。判断方法很简单:任务是不是多轮、要不要调用工具、历史会不会越攒越长,三条里占两条,就值得认真设计上下文。