Hermes Agent Claude 缓存不省钱?先看这几个前提
Hermes Agent 的 Claude prompt cache 不是“所有对话都自动半价”。它主要缓存稳定的前缀内容,比如系统提示、技能、记忆和重复上下文;如果你频繁换模型、换 provider、换 profile,或者每轮都塞全新的大文件,缓存收益就会变小。 v0.14 官方说明里提到,He...
AI问答 • Admin •
74
找到 3 篇相关文章
Hermes Agent 的 Claude prompt cache 不是“所有对话都自动半价”。它主要缓存稳定的前缀内容,比如系统提示、技能、记忆和重复上下文;如果你频繁换模型、换 provider、换 profile,或者每轮都塞全新的大文件,缓存收益就会变小。 v0.14 官方说明里提到,He...
Prompt Caching 指的是把模型请求里那段反复出现的提示前缀缓存下来,后续再遇到同样或高度一致的前缀时,尽量直接复用处理结果,而不是每次都从头算一遍。它这两年之所以越来越热,不是因为名字高级,而是因为越来越多产品终于意识到:固定 system prompt、工具定义、长规则、长文档背景,才...
Context Caching 指的是把一段会被反复发送给模型的上下文先缓存起来,后续请求尽量复用,而不是每次都重新处理一遍。它最近会突然变热,原因非常现实:长上下文产品越来越多,但谁都不想重复为同一大段文档、规则或代码库反复付钱。 这个概念经常被误听成“模型记住了我的全部内容”。其实不是。Cont...