Hermes Agent 接 vLLM 后工具不工作?
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出,通常不是 Hermes 没接上,而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ,vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
找到 5 篇相关文章
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出,通常不是 Hermes 没接上,而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ,vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
Hermes Agent token 消耗突然很高,先别只怪模型贵。最近社区里这个问题非常集中,常见触发点是: 工具调用太多、上下文太长、hybrid memory 额外拉取信息、没有开便宜模型路由 。排查时要先定位是哪一类在烧。 最快排查顺序 - 先用 /usage 看大概消耗趋势。 - 长对话先...
Hermes Agent 只写“我会执行命令”,却没有真正调用工具,常见原因是 当前模型或自定义 endpoint 的 tool calling 不兼容 。社区里最近也有用户用小型本地模型遇到这个问题:模型会模仿工具输出,但不会按 Hermes 需要的格式发起真实工具调用。 怎么确认 - 先换到官方...
Hermes Agent 运行慢,先不要急着换机器。真正原因通常分三类:模型响应慢、工具执行慢、上下文太长。排查时先看日志里的 provider、输入输出 token、工具耗时和错误重试次数,再决定是换模型、缩上下文,还是减少工具。 用这个顺序定位 - 看模型延迟 :如果一次 API call 就几...
Hermes Agent 连接 MCP 后工具变少,很多时候是正常现象,不一定是服务器坏了。Hermes 会尊重每个 MCP server 的 tools.include 、 tools.exclude 、 resources 和 prompts 配置;如果你把工具白名单收得很窄,界面里自然只会看到...