Promptfoo— Open-Source-CLI/Bibliothek zum systematischen Testen, Evaluieren und Red-Teaming von Prompts, Agenten und RAG-Pipelines gegen Regressionen.
Self-hosted DSGVO hoch
Beta — ohne Gewähr. Die Ergebnisse sind eine Orientierung, keine Beratung. Für Entscheidungen auf ihrer Grundlage übernehmen wir keine Haftung. Preise und Lizenzangaben stammen aus unserem Katalog (Stichtag je Tool) und können sich ändern.
Unsere Einschätzung
Promptfoo ergänzt Langfuse um systematisches Vorab-Testing: deklarative Regressionstests für Prompts/Agenten/RAG-Antworten sowie Red-Teaming/ Vulnerability-Scanning, bevor Änderungen produktiv gehen — in CI/CD einbindbar. Seit März 2026 Teil von OpenAI, bleibt aber laut offizieller Ankündigung open source (MIT) und läuft lokal ohne Pflicht-Datenabfluss. Sinnvolle Ergänzung, sobald Prompt-/Modelländerungen nicht mehr manuell geprüft werden sollen.
Fakten
| Hosting | Self-hosted · Vendor-Lock-in mittel |
|---|---|
| DSGVO-Bewertung | hoch — Lokal laufendes CLI/Bibliothek ohne Pflicht-Datenübertragung; Zielmodelle frei wählbar (inkl. lokaler Ollama-Modelle) (Stand 2026-07) |
| Lizenz | MIT · Open Source: ja |
| Kosten | ab 0 € / Monat · Modell kostenlos (Stand 2026-07) |
| Reife | Releases aktiv · Community gross (Stand 2026-07) |
| Betrieb | Infrastruktur einfach · Wartung niedrig · Docker: ja |
| Integration | API hoch · LLM-integrierbar: ja |
| Lokalisierung | Deutsch: nein · GoBD: nein |
| Zielgröße | alle Größen |
Kernfunktionen
- Deklarative Test-Konfigurationen (YAML) für Prompt-/Modellvergleiche
- CI/CD-Integration zur automatisierten Regressionsprüfung
- Red-Teaming/Vulnerability-Scanning für LLM-Anwendungen
- Vergleich über Provider hinweg (GPT, Claude, Gemini u. a.)
Deckt diese Prozesse ab
- LLM-Observability & Evaluation (voll)
Angaben Stand 2026-07 (Preise) / 2026-07 (Reife), ohne Gewähr.
Passt Promptfoo zu deinem Unternehmen?
Konfigurator starten — kostenlos in der Beta →