AI工具导航
返回文章列表

Prompt Caching

找到 2 篇相关文章

Prompt Caching 是什么？为什么长提示和多轮 Agent 都在想办法吃到缓存

Prompt Caching 是什么？为什么长提示和多轮 Agent 都在想办法吃到缓存

Prompt Caching 指的是把模型请求里那段反复出现的提示前缀缓存下来，后续再遇到同样或高度一致的前缀时，尽量直接复用处理结果，而不是每次都从头算一遍。它这两年之所以越来越热，不是因为名字高级，而是因为越来越多产品终于意识到：固定 system prompt、工具定义、长规则、长文档背景，才...

AI百科 • Admin •
75
Context Caching 是什么？为什么它正在成为长上下文产品的成本关键字

Context Caching 是什么？为什么它正在成为长上下文产品的成本关键字

Context Caching 指的是把一段会被反复发送给模型的上下文先缓存起来，后续请求尽量复用，而不是每次都重新处理一遍。它最近会突然变热，原因非常现实：长上下文产品越来越多，但谁都不想重复为同一大段文档、规则或代码库反复付钱。 这个概念经常被误听成“模型记住了我的全部内容”。其实不是。Cont...

AI百科 • Admin •
75

推荐工具

更多