Der Schlüssel zu Ollama ist, Ollama als OpenAI-kompatibeler benutzerdefinierter Endpunkt zu behandeln. Es ist nicht schwierig, es zu laufen, und es ist wirklich einfach, die Länge des Kontextes zu klein zu treten: Das Tool-Schema und die Systemaufforderung können den 4K-Kontext übernehmen, was dazu führt, dass der Agent "Gedächtnislos" erscheint oder das Tool nicht tun kann.
- @
Wofür das lokale Modell geeignet ist
Ollama eignet sich besser für datenschutzbewusste, kostengünstige, leichte bis mittlere Dateiverarbeitung und einfache Codeaufgaben. Wenn der Hermes Agent lange Zeitplanung, kontinuierliche Werkzeuge-Ausrichtung und die Bearbeitung großer Lagerhäuser durchführen muss, sind die Argumentationsfähigkeiten des lokalen Modells und die Kontextfenster ein Engpass. Verwenden Sie die Tests mit kleinen Aufgaben wie "Eine Datei lesen und zusammenfassen", "Katalog auflisten und einen Text ändern", bevor Sie sie für die formale Automatisierung verwenden.
