LiteLLM
Ein quelloffenes Zugangs- und Routing-Gateway, das Modelle verschiedener Anbieter hinter einer Schnittstelle bündelt und Fallback, Kontingente, Logs und Kostentransparenz bietet.
LiteLLM ist eine quelloffene Zugangs- und Routing-Schicht für Teams, die mehrere Modelle betreiben: Sie bündelt Dienste unterschiedlicher Anbieter, Protokolle und Abrechnungsmodelle hinter einer einheitlichen Schnittstelle, sodass nicht jede Anwendung eigenen Anpassungscode braucht. Sie ist eher Infrastruktur als fertige Oberfläche und dient Fallback und Routing zwischen Modellen, Kontingenten, Protokollierung und Kostentransparenz.
