LiteLLM — OpenAI-API-kompatibler Proxy für einheitlichen Zugriff auf Ollama, OpenAI und weitere Anbieter.

Self-hosted DSGVO hoch

Beta — ohne Gewähr. Die Ergebnisse sind eine Orientierung, keine Beratung. Für Entscheidungen auf ihrer Grundlage übernehmen wir keine Haftung. Preise und Lizenzangaben stammen aus unserem Katalog (Stichtag je Tool) und können sich ändern.

Unsere Einschätzung

LiteLLM: OpenAI-API-kompatibler Proxy-Server. Unified API über Ollama, OpenAI, Anthropic, Azure, etc. Zentrales Rate-Limiting, Token-Budget pro Nutzergruppe, Logging, Fallback-Modelle (wenn Ollama überlastet → API). N8n, Outline, Open-WebUI alle gegen einen Endpoint — Modell-Wechsel ohne Code-Änderungen.

Fakten

Hosting	Self-hosted · Vendor-Lock-in niedrig
DSGVO-Bewertung	hoch — Self-hosted Proxy, kein Datentransfer an LiteLLM, vollständige Kontrolle über Backend-Routing (Ollama, lokale Modelle möglich) (Stand 2026-07)
Lizenz	MIT · Open Source: ja
Kosten	ab 0 € / Monat · Modell kostenlos (Stand 2026-06)
Reife	Releases aktiv · Community gross (Stand 2026-06)
Betrieb	Infrastruktur mittel · Wartung niedrig · Docker: ja
Integration	API hoch · LLM-integrierbar: ja
Lokalisierung	Deutsch: nein · GoBD: nein
Zielgröße	alle Größen

Kernfunktionen

Unified API über alle Provider
Token-Budget pro Nutzergruppe
Fallback-Modelle
Zentrales Logging

Deckt diese Prozesse ab

LLM-Proxy & Routing (voll)
LLM-Observability & Evaluation (teilweise)

Website des Anbieters ↗

Angaben Stand 2026-06 (Preise) / 2026-06 (Reife), ohne Gewähr.

Passt LiteLLM zu deinem Unternehmen?

Konfigurator starten — kostenlos in der Beta →