KI-Observability
Der Blick auf die Aufrufkette nach dem Go-live: wie Tracing, Kostenzuordnung und Latenzwerte Fehler eingrenzen und was ein Gateway zusätzlich leistet.
Wird die Aufrufkette länger, lässt sich ein Fehler kaum einer Schicht zuordnen, der häufigste Engpass nach dem Start einer generativen Anwendung. LangChain hat Tracing bis auf Modellebenen und Werkzeugaufrufe verfeinert, Portkey.ai bündelt Routing, Fallbacks, Budgetgrenzen und Ende-zu-Ende-Traces in einem Gateway. Latenz, Kosten je Aufruf und Qualität sind die neuen Kennzahlen, die Kostenzuordnung fließt in die Kapazitätsplanung ein.
