Agent-Evaluation — Task-Success-Rate, Eval-Harness, Benchmarks
Wie man KI-Agenten bewertet: Eval-Harness, Task-Success-Rate, Benchmarks wie GAIA und Tau-Bench, LLM-as-a-Judge — und die Abgrenzung zur reinen Modell-Qualität.
Martin Rau
Evaluation
Bewertung von LLM-Qualität — Evals, Benchmarks, Judges.
-
- ki-konzepte Evaluation
LLM-Qualität messen — Evals, Benchmarks, Judges
Wie misst man, ob ein LLM-System gut funktioniert? Drei Ebenen von Public Benchmarks bis CI-Eval, Stolperfallen wie Goodhart, Judge-Bias und Eval-Aging.
Martin Rau