Comment l'agent Hermes peut-il contacter Ollama ?

La clé de la connexion d'Ollama avec Hermes Agent est de traiter Ollama comme un point final personnalisé compatible OpenAI. Ce qui n'est pas difficile à exécuter, et ce qui est vraiment facile à piétiner, c'est que la longueur du contexte est trop petite : le schéma d'outil et les invites système peuvent occuper le contexte de 4k, ce qui rend l'agent "amnétique" ou incapable de régler l'outil.

Etapes de base

ollama pull qwen2.5-coder:32b
OLLAMA_CONTEXT_LENGTH=32768 ollama serve

 puis exécutez : 
hermes model Sélectionnez le point d'extrémité personnalisé, remplissez l'URL _ _ CODE_INLINE_2__, la clé API peut être sautée, remplissez le nom du modèle dans Ollama. 

Vérifier le point fort

Utiliser ollama ps pour voir si le CONTEXT atteint 16k ou 32k.
• Les modèles locaux ne sont pas nécessairement bons dans les appels d'outils complexes, testez-les avec des tâches de fichiers simples.

• Veuillez vérifier que le service Ollama est accessible par WSL ou Docker sur Windows.

En un mot : Il n'est pas difficile de connecter l'agent Hermes à Ollama, la difficulté est de donner suffisamment de contexte et de choisir un modèle qui peut stabiliser les appels d'outils.

Qu 'est-ce que le modèle local est bon pour

Ollama est mieux adapté pour les tâches de traitement de fichiers sensibles à la vie privée, à faible coût, légers et modérés et de code simple. La capacité d'inférence et la fenêtre contextuelle du modèle local sont des goulots d'étranglement si vous devez laisser l'agent Hermes planifier de longues heures, régler les outils en continu et gérer de grands entrepôts. Utilisez de petites tâches telles que « lire un fichier et résumer », « répertorier une table des matières et modifier un texte » avant de les automatiser formellement.

Adresse source ouverte officielle : https://github.com/NousResearch/hermes-agent ; portail de documentation officiel : https://hermes-agent.nousresearch.com/.

@