Litellm

LiteLLM est un outil polyvalent conçu pour faciliter les interactions avec une large gamme de modèles de langage (LLMs) en utilisant une interface unifiée. Il prend en charge plus de 100 LLMs et propose des fonctionnalités telles que l'équilibrage de charge, le suivi des coûts et la logique de réessai, ce qui le rend adapté à la fois aux développeurs et aux équipes d'activation de l'IA.