Woher weiß ich, ob mein Agent zwischen Versionen tatsächlich besser geworden ist oder einfach Glück hatte?
Möglichkeit
Wenn ein Agent über Stunden hinweg Hunderte aufeinanderfolgender Schritte unternimmt, versagt die traditionelle A/B-Evaluation, weil ein früher Tool-Aufruf jede nachfolgende Entscheidung prägt und Ergebnisse über Läufe hinweg pfadabhängig macht. Genügend unabhängige Versuche für ein zuverlässiges Signal durchzuführen kostet so viel Rechenleistung wie das Training selbst. Das Feld greift auf Proxy-Metriken wie Schritterfolgsrate und Tool-Call-Genauigkeit zurück, die nachweislich nicht mit End-Task-Ergebnissen bei realer Arbeit korrelieren. Ein Audit von 445 veröffentlichten LLM-Benchmarks aus dem Jahr 2025 dokumentierte Mängel bei der Konstruktvalidität in großem Maßstab: vage Aufgabendefinitionen, zweckentfremdete Kurzhorizont-Datensätze und fehlende statistische Tests, die alle mit wachsendem Aufgabenhorizont gravierender werden. Teams, die agentische Produkte entwickeln, liefern auf Basis manueller Stichproben aus, weil keine prinzipiell fundierte, reproduzierbare Evaluierungsmethodik für Langzeithorizont-Agenten existiert.
Warum es wichtig ist
Ohne eine zuverlässige Methode zu messen, ob ein Agent besser geworden ist, lassen sich Agenten, die bereits in hochriskanten Aufgaben eingesetzt werden, nicht systematisch verbessern.
Wie ich die Chance bewerte
Der Opportunity Score ist meine persönliche Einschätzung, keine Messung: wie stark es schmerzt, wie oft es auftritt und wie wenig heute existiert, um es zu lösen. Ein höherer Wert bedeutet, dass ich es für lohnender halte, es umzusetzen.
Wie viel Schmerz es verursacht, wenn es auftritt.
Wie oft Menschen tatsächlich darauf stoßen.
Wie wenig gute Werkzeuge dafür heute existieren.
Weitere lösungswürdige Probleme
Warum vergisst mich jede KI-App in dem Moment, in dem ich den Tab schließe?
AIWarum setzt das Erlernen eines neuen Fachgebiets immer noch voraus, die richtigen Fragen zu kennen?
AIWarum kann eine fachfremde Person nicht überprüfen, was eine KI ihr gerade gesagt hat?
AIWarum testen wir Modelle an Benchmarks, aber bringen sie nach Bauchgefühl in die Produktion?
AIWarum haben KI-Agenten kein Gedächtnis für ihre eigenen Fehler?
AIWarum kann ich nicht nachprüfen, womit ein Modell tatsächlich trainiert wurde?