Hermes Agent 接 vLLM 后工具不工作?
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出,通常不是 Hermes 没接上,而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ,vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
AI问答 • Admin •
211
找到 4 篇相关文章
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出,通常不是 Hermes 没接上,而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ,vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
Hermes Agent 接 Ollama 的关键是把 Ollama 当成 OpenAI 兼容的 custom endpoint。能跑起来不难,真正容易踩坑的是上下文长度太小:工具 schema 加系统提示就可能占满 4k 上下文,导致 agent 看起来“失忆”或不会调工具。 基本步骤 ollam...
Hermes Agent 本地模型记忆失效,很多时候不是记忆系统没开,而是模型不会稳定调用记忆工具。社区里有人用小型 Qwen 本地 endpoint 遇到类似问题:配置里 memory_enabled 是开的,但模型在 memory ops 上表现不稳定。 先分清两类问题 配置没开 :记忆文件、p...
Hermes Agent 自定义 endpoint 连不上,先查三件事: base URL 有没有带 /v1 、API key 是否非空、模型名是否和服务端一致 。官方 Providers 文档说明,Hermes 可以接任何 OpenAI-compatible endpoint,但前提是服务端真的实...