Agent-Evaluation — Task-Success-Rate, Eval-Harness, Benchmarks
Wie man KI-Agenten bewertet: Eval-Harness, Task-Success-Rate, Benchmarks wie GAIA und Tau-Bench, LLM-as-a-Judge — und die Abgrenzung zur reinen Modell-Qualität.
Martin Rau
Agenten
Autonome KI-Systeme, die Aufgaben mehrschrittig bearbeiten.
-
- ki-konzepte Agenten
Agent-Memory — Kurzzeit- und Langzeitgedächtnis von KI-Agenten
Kurzzeit- vs. Langzeitgedächtnis bei KI-Agenten: Kontextfenster, externe Memory-Stores und Vektor-DBs — wie Agenten Kontext über Sessions halten.
Redaktion -
Function Calling / Tool Use
Wie ein LLM Werkzeuge aufruft: Tool-Definition als Schema, Modell wählt Funktion und Argumente, Ergebnis zurück ins Gespräch — der Grundbaustein jedes Agenten.
Martin Rau - ki-konzepte Agenten
Guardrails für Agenten — Leitplanken, Policy-Checks und Tool-Grenzen
Wie Guardrails Agenten absichern: Input/Output-Filter, Policy-Checks, Tool-Grenzen und Schutz vor Prompt-Injection im Verhältnis zu Security und HITL.
Redaktion - ki-konzepte Agenten
KI-Agenten bauen — vom Tool Use zum Multi-Agent-System
Wie KI-Agenten funktionieren: vom einfachen Tool-Call über MCP, Strukturierte Outputs und LangGraph bis zur Frage, wann Multi-Agent-Setups sinnvoll sind.
Redaktion