Promptfoo — Open-Source-CLI/Bibliothek zum systematischen Testen, Evaluieren und Red-Teaming von Prompts, Agenten und RAG-Pipelines gegen Regressionen.

Self-hosted DSGVO hoch

Beta — ohne Gewähr. Die Ergebnisse sind eine Orientierung, keine Beratung. Für Entscheidungen auf ihrer Grundlage übernehmen wir keine Haftung. Preise und Lizenzangaben stammen aus unserem Katalog (Stichtag je Tool) und können sich ändern.

Unsere Einschätzung

Promptfoo ergänzt Langfuse um systematisches Vorab-Testing: deklarative Regressionstests für Prompts/Agenten/RAG-Antworten sowie Red-Teaming/ Vulnerability-Scanning, bevor Änderungen produktiv gehen — in CI/CD einbindbar. Seit März 2026 Teil von OpenAI, bleibt aber laut offizieller Ankündigung open source (MIT) und läuft lokal ohne Pflicht-Datenabfluss. Sinnvolle Ergänzung, sobald Prompt-/Modelländerungen nicht mehr manuell geprüft werden sollen.

Fakten

Hosting	Self-hosted · Vendor-Lock-in mittel
DSGVO-Bewertung	hoch — Lokal laufendes CLI/Bibliothek ohne Pflicht-Datenübertragung; Zielmodelle frei wählbar (inkl. lokaler Ollama-Modelle) (Stand 2026-07)
Lizenz	MIT · Open Source: ja
Kosten	ab 0 € / Monat · Modell kostenlos (Stand 2026-07)
Reife	Releases aktiv · Community gross (Stand 2026-07)
Betrieb	Infrastruktur einfach · Wartung niedrig · Docker: ja
Integration	API hoch · LLM-integrierbar: ja
Lokalisierung	Deutsch: nein · GoBD: nein
Zielgröße	alle Größen

Kernfunktionen

Deklarative Test-Konfigurationen (YAML) für Prompt-/Modellvergleiche
CI/CD-Integration zur automatisierten Regressionsprüfung
Red-Teaming/Vulnerability-Scanning für LLM-Anwendungen
Vergleich über Provider hinweg (GPT, Claude, Gemini u. a.)

Deckt diese Prozesse ab

LLM-Observability & Evaluation (voll)

Website des Anbieters ↗

Angaben Stand 2026-07 (Preise) / 2026-07 (Reife), ohne Gewähr.

Passt Promptfoo zu deinem Unternehmen?

Konfigurator starten — kostenlos in der Beta →