Hermes Agent 接 vLLM 后工具不工作?
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出,通常不是 Hermes 没接上,而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ,vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
AI问答 • Admin •
212
找到 3 篇相关文章
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出,通常不是 Hermes 没接上,而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ,vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
Hermes Agent 本地模型记忆失效,很多时候不是记忆系统没开,而是模型不会稳定调用记忆工具。社区里有人用小型 Qwen 本地 endpoint 遇到类似问题:配置里 memory_enabled 是开的,但模型在 memory ops 上表现不稳定。 先分清两类问题 配置没开 :记忆文件、p...
Hermes Agent 只写“我会执行命令”,却没有真正调用工具,常见原因是 当前模型或自定义 endpoint 的 tool calling 不兼容 。社区里最近也有用户用小型本地模型遇到这个问题:模型会模仿工具输出,但不会按 Hermes 需要的格式发起真实工具调用。 怎么确认 - 先换到官方...