Begriff
RAGAS
RAGAS ist ein Open-Source-Framework zur automatisierten Bewertung von RAG- und Agenten-Pipelines — mit Standardmetriken wie Faithfulness, Context Precision und Answer Relevancy.
RAGAS — ausführlicher erklärt
RAGAS (Retrieval-Augmented Generation Assessment) liefert vorgefertigte Metriken, um RAG-Systeme objektiv zu vergleichen — ohne für jede Änderung eine manuelle Bewertung zu organisieren. Die meisten Metriken arbeiten als LLM-as-a-Judge: ein Modell prüft anhand von Frage, abgerufenen Kontexten und finaler Antwort, ob z. B. die Antwort tatsächlich aus den Kontexten ableitbar ist (Faithfulness) oder ob das Retrieval die relevanten Stellen geliefert hat (Context Precision/Recall). Es lässt sich in CI-Pipelines einbinden, sodass jede Pipeline-Änderung gegen einen Eval-Datensatz gemessen wird.
Beispiel / Praxisbezug
Typischer Aufbau: Eval-Datensatz aus Frage, Goldantwort und Goldkontexten anlegen, Pipeline laufen lassen, RAGAS berechnet pro Beispiel Scores für Faithfulness, Answer Relevancy, Context Precision und Context Recall. Entwickler-Teams nutzen das, um Retriever zu vergleichen (Vektor vs. Hybrid vs. Reranking) oder um Prompt-Änderungen abzusichern. Über die RAG-Metriken hinaus deckt RAGAS auch Agent-Metriken (Tool-Call-Accuracy, Goal Achievement) und klassische NLP-Scores (BLEU, ROUGE, semantische Ähnlichkeit) ab.
Abgrenzung zu ähnlichen Begriffen
RAGAS ist eine konkrete Bibliothek, kein Konzept — vergleichbar mit DeepEval, TruLens und Promptfoo. Die Metriken selbst (Faithfulness, Context Precision …) sind universell und in mehreren Frameworks implementiert. RAGAS ist nicht das Gleiche wie ein Benchmark: es ist ein Mess-Werkzeug, das auf eigenen Eval-Datensätzen läuft. Schwächen: LLM-Judges sind teuer, langsam und können bei sehr engen Domänen unverlässlich werden — daher in Produktion oft mit menschlichen Stichproben kombinieren.
Entdecke mehr
KI-Workflows per Keyword: Wie wir wiederkehrende Abläufe erzwingbar machen
Ein getipptes Keyword löst bei uns einen festen KI-Ablauf aus — und jeder Schritt muss committet werden, bevor der nächste kommt. Warum das der Trick ist.
GlossarGround Truth
Eine als korrekt geltende Referenz-Wahrheit, gegen die man Modell-Outputs misst. In der KI-Code-Analyse ist es ein Code-Stück mit gezielt eingebauten, bekannten Fehlern, sodass messbar wird, wie viel ein Modell wirklich findet.
LexikonAgent-Evaluation — Task-Success-Rate, Eval-Harness, Benchmarks
Wie man KI-Agenten bewertet: Eval-Harness, Task-Success-Rate, Benchmarks wie GAIA und Tau-Bench, LLM-as-a-Judge — und die Abgrenzung zur reinen Modell-Qualität.