Hermes Agent nach der Anbindung von vLLM, wenn das Modell nur das Tool als Text-Ausgabe aufruft, in der Regel nicht Hermes nicht angeschlossen, sondern der vLLM-Dienst startet mit weniger Tool-Aufruf - Parameter. Hermes verwendet standardmäßig tool_choice: auto, die vLLM-Seite muss auch explizit geöffnet sein. Hermes / Qwen-Klassenmodelle häufig verwendet hermes, Llama 3.x häufig verwendet llama3_json, DeepSeek, Mistral usw. Nach vLLM-unterstützten Parser.
--max-model-len Ist der Speicher überschritten, ist der Dienst gestartet fehlgeschlagen? Ob das Modell selbst Tool-Aufrufe unterstützt, kann ein nicht unterstütztes Modell sehr instabil sein. Wenn die API-Schicht bereits nur normalen Text zurückgibt, liegt das Problem meistens in den vLLM-Parser - oder Modellfähigkeiten; wenn die API-Schicht normal ist und Hermes eine Ausnahme ist, überprüfen Sie Hermes benutzerdefinierten Endpunkt, Modellnamen, Kontextlänge und Logs.
