Evaluation

Eine als korrekt geltende Referenz-Wahrheit, gegen die man Modell-Outputs misst. In der KI-Code-Analyse ist es ein Code-Stück mit gezielt eingebauten, bekannten Fehlern, sodass messbar wird, wie viel ein Modell wirklich findet.

Recall (Trefferquote, Sensitivität) misst, welcher Anteil aller tatsächlich vorhandenen relevanten Fälle gefunden wird. Formel: gefundene relevante Fälle geteilt durch alle real vorhandenen relevanten Fälle. Setzt eine bekannte Ground Truth voraus.

Ein KI-Benchmark ist ein standardisierter Aufgaben-Datensatz, der Sprachmodelle vergleichbar macht — gleiche Fragen, gleiches Scoring, transparente Ergebnisse für Reasoning, Wissen oder Coding.

Context Precision ist eine RAG-Eval-Metrik (0–1), die misst, wie gut der Retriever relevante Kontexte vor irrelevante platziert — Fokus liegt auf Ranking-Qualität, nicht auf reiner Trefferanzahl.

Context Recall ist eine RAG-Eval-Metrik (0–1), die misst, wie vollständig der Retriever die für die Goldantwort nötigen Fakten geliefert hat — fehlt ein Fakt im Kontext, sinkt der Score.

Evals sind systematische Tests für LLM-Anwendungen — feste Testfälle, automatische Bewertung der Antworten, Ergebnis als Score. Grundlage, um Prompt- oder Modellwechsel objektiv zu vergleichen.

Faithfulness ist eine RAG-Eval-Metrik (0–1), die misst, wie viele Aussagen einer Antwort sich tatsächlich aus den abgerufenen Kontexten ableiten lassen — ein direkter Halluzinations-Indikator.

LLM-as-a-Judge bezeichnet das Verfahren, ein Sprachmodell als Bewerter einzusetzen — es vergleicht Antworten anderer Modelle oder bewertet Ausgaben gegen vorgegebene Kriterien.

RAGAS ist ein Open-Source-Framework zur automatisierten Bewertung von RAG- und Agenten-Pipelines — mit Standardmetriken wie Faithfulness, Context Precision und Answer Relevancy.