LiteLLM — passerelle unifiée pour tous vos providers LLM

Cette page est informative et sans valeur de conseil. Téléchargez toujours depuis la source officielle de chaque outil, vérifiez la licence du logiciel, et gardez en tête que LiteLLM est un proxy qui voit passer toutes vos requêtes et vos clés API : sécurisez l'instance avec soin, surtout en déploiement partagé.

À quoi ça sert

LiteLLM résout un problème concret : chaque provider LLM (OpenAI, Anthropic, Mistral, Ollama, Groq, Cohere…) a sa propre API avec ses propres paramètres et formats de réponse. LiteLLM expose un unique endpoint /chat/completions compatible OpenAI — et traduit les requêtes vers le provider de votre choix.

Deux modes d'usage principaux :

Librairie Python : quelques lignes de code pour appeler n'importe quel provider avec la même interface.
Proxy (serveur) : un serveur LiteLLM que vous hébergez, qui centralise les clés API, gère les budgets par équipe, journalise les appels et permet de basculer d'un provider à l'autre sans modifier vos applications clientes.

Cas d'usage courants : standardiser les appels LLM dans une équipe, ajouter un fallback automatique (si OpenAI répond lentement, basculer sur Mistral), contrôler les dépenses par projet ou par utilisateur, connecter Flowise ou n8n à plusieurs providers.

Pour qui

Pour les développeurs et équipes techniques qui consomment plusieurs providers LLM et veulent réduire la complexité de maintenance. Le mode proxy est particulièrement utile dans les équipes où plusieurs applications partagent les mêmes clés API — LiteLLM centralise la gestion sans distribuer les clés à chaque projet.

Les profils non-développeurs n'utiliseront pas LiteLLM directement, mais en bénéficieront indirectement si leurs outils (Flowise, Open WebUI, n8n) y sont connectés par un administrateur.

Installation

Mode librairie Python

pip install litellm

from litellm import completion

# Appel vers Ollama en local
response = completion(
    model="ollama/llama3.2",
    messages=[{"role": "user", "content": "Bonjour"}],
    api_base="http://localhost:11434"
)
print(response.choices[0].message.content)

Mode proxy (serveur)

# Installer le proxy
pip install 'litellm[proxy]'

# Créer un fichier de configuration (config.yaml)
# puis démarrer le proxy
litellm --config config.yaml --port 4000

Le proxy écoute sur http://localhost:4000 et expose un endpoint /chat/completions compatible OpenAI.

Avec Docker

docker run \
  -p 4000:4000 \
  -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  ghcr.io/berriai/litellm:main-latest \
  --config /app/config.yaml --port 4000 --detailed_debug

Exemple de config.yaml minimal

model_list:
  - model_name: llama3-local
    litellm_params:
      model: ollama/llama3.2
      api_base: http://host.docker.internal:11434

  - model_name: mistral-cloud
    litellm_params:
      model: mistral/mistral-small
      api_key: os.environ/MISTRAL_API_KEY

Précautions d'usage

LiteLLM voit toutes vos clés API et toutes vos requêtes. En mode proxy partagé, l'instance LiteLLM est un point central critique. Sécurisez-la comme vous sécuriseriez un coffre de clés.
Pas d'authentification par défaut sur le proxy. Configurez des clés virtuelles (litellm_master_key) et des restrictions par modèle avant tout déploiement partagé ou accessible en réseau.
Les journaux peuvent contenir des données sensibles. LiteLLM peut enregistrer les requêtes et réponses pour l'observabilité. Vérifiez la configuration des logs avant de traiter des données personnelles ou confidentielles.
Vérifiez la licence avant usage commercial. LiteLLM est distribué sous MIT dans sa version de base. Certaines fonctionnalités avancées (LiteLLM Enterprise) peuvent avoir des conditions différentes — lisez le dépôt officiel.
Les coûts peuvent s'emballer. En mode proxy, les applications clientes peuvent déclencher de nombreux appels à des providers cloud payants. Configurez des budgets et des alertes de dépenses.

Matrice de risque

Risque	Niveau	Mitigation
Proxy exposé sans authentification	🔴 Élevé si accessible en réseau	Configurer litellm_master_key ; HTTPS via reverse proxy
Fuite de clés API si l'instance est compromise	🔴 Élevé — toutes les clés sont centralisées	Isoler l'instance, accès restreint, rotation régulière des clés
Données sensibles dans les journaux	🟡 Moyen	Configurer le niveau de log avec soin ; désactiver la journalisation du contenu en production
Dépassement de budget sur providers cloud	🟡 Moyen	Configurer des budgets par clé virtuelle et des alertes côté provider
Dépendance à un point central unique	🟢 Faible avec redondance	Prévoir un fallback ou une instance de secours pour les usages critiques

Sécurité

LiteLLM proxy est un service critique dans votre infrastructure IA. Priorités :

Définissez une clé maître. Configurez litellm_master_key dans config.yaml pour que chaque client doive s'authentifier.
HTTPS obligatoire. Placez le proxy derrière Nginx ou Caddy avec TLS — les clés API transitent dans les en-têtes HTTP.
Créez des clés virtuelles par projet. LiteLLM permet d'émettre des clés virtuelles avec des budgets et des modèles autorisés — une par application cliente.
Auditez les journaux. Les logs LiteLLM révèlent quels modèles sont appelés, à quelle fréquence et avec quel coût estimé. Consultez-les régulièrement.
Mettez à jour régulièrement. LiteLLM évolue très vite — suivez les releases sur GitHub.

Aller plus loin

Ollama — le provider local à brancher en priorité pour les données sensibles.
Flowise — connecter Flowise à LiteLLM pour centraliser la gestion des providers.
n8n — utiliser LiteLLM comme endpoint unique dans vos workflows n8n.
Open WebUI — brancher Open WebUI sur LiteLLM pour accéder à plusieurs modèles depuis une seule interface.
OSIALab — comparer tous les outils providers et passerelles.

Sources

Site officiel : litellm.ai
Code source : github.com/BerriAI/litellm
Documentation : docs.litellm.ai
Licence : MIT (version open source) — vérifier le dépôt officiel pour les fonctionnalités Enterprise

LiteLLM — une seule API pour tous vos providers LLM