Litellm

LiteLLM ist ein vielseitiges Tool, das entwickelt wurde, um die Interaktion mit einer Vielzahl von Large Language Models (LLMs) über eine einheitliche Schnittstelle zu erleichtern. Es unterstützt über 100 LLMs und bietet Funktionen wie Lastenausgleich, Kostenverfolgung und Wiederholungslogik, was es sowohl für Entwickler als auch für KI-Enablement-Teams geeignet macht.