Hermes Agent 接 vLLM 后工具不工作？
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出，通常不是 Hermes 没接上，而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ，vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
AI问答 • Admin •
155
Hermes Agent vLLM
找到 2 篇相关文章
找到 2 篇相关文章
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出，通常不是 Hermes 没接上，而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ，vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
Hermes Agent 自定义 endpoint 连不上，先查三件事： base URL 有没有带 /v1 、API key 是否非空、模型名是否和服务端一致 。官方 Providers 文档说明，Hermes 可以接任何 OpenAI-compatible endpoint，但前提是服务端真的实...