LiteLLM bietet ein Gateway für den Zugriff auf mehrere große Sprachmodelle (LLMs) und andere KI-Modelle über eine einheitliche API. Es ermöglicht Nutzungs-Tracking, Caching und Zugriffskontrolle und bietet eine webbasierte Benutzeroberfläche für die Verwaltung, Überwachung und das Testen der Modelle.
Wir verwenden LiteLLM, um ein einziges Gateway für alle Aufrufe an KI-Modelle wie LLMs bereitzustellen. Diese soll sowohl von unseren selbst erstellten KI-Anwendungen wie MUCGPT als auch von existierenden Anwendungen, die lediglich mit LLM-Schnittstellen interagieren, genutzt werden.