提示词缓存

Prompt Caching 是什么？为什么长提示和多轮 Agent 都在想办法吃到缓存

Prompt Caching 指的是把模型请求里那段反复出现的提示前缀缓存下来，后续再遇到同样或高度一致的前缀时，尽量直接复用处理结果，而不是每次都从头算一遍。它这两年之所以越来越热，不是因为名字高级，而是因为越来越多产品终于意识到：固定 system prompt、工具定义、长规则、长文档背景，才...