Warum brechen Modell-Leaderboard-Ergebnisse ein, wenn der Testdatensatz nie im Training gesehen wurde?
Möglichkeit
Statische Benchmarks wie MMLU weisen Kontaminationsraten von bis zu 45% auf, und paraphrasierte oder übersetzte Versionen von Testaufgaben überstehen die Exact-Match-Dekontaminierung, während sie die veröffentlichten Ergebnisse weiterhin verzerren. Ein Modell kann auf einem Leaderboard bei einer kontaminierten Aufgabe an der Spitze stehen und dieselbe Aufgabe scheitern, wenn sie sauber umformuliert wird. Dynamische Benchmarks, die Aufgaben regelmäßig aktualisieren, existieren, besitzen jedoch keine standardisierten Designkriterien, sodass Ergebnisse weder untereinander verglichen noch als repräsentativ für die angeblich gemessene Fähigkeit verifiziert werden können. Jede Fähigkeits- und Sicherheitsaussage, die auf einem Leaderboard veröffentlicht wird, beruht auf Zahlen, die keine unabhängige Partei als sauber validieren kann.
Warum es wichtig ist
Vertrauenswürdige Evaluierung ist die Voraussetzung für jede nachgelagerte Sicherheits- und Deployment-Entscheidung, und die Zahlen, auf denen diese Entscheidungen beruhen, sind derzeit nicht vertrauenswürdig.
Wie ich die Chance bewerte
Der Opportunity Score ist meine persönliche Einschätzung, keine Messung: wie stark es schmerzt, wie oft es auftritt und wie wenig heute existiert, um es zu lösen. Ein höherer Wert bedeutet, dass ich es für lohnender halte, es umzusetzen.
Wie viel Schmerz es verursacht, wenn es auftritt.
Wie oft Menschen tatsächlich darauf stoßen.
Wie wenig gute Werkzeuge dafür heute existieren.
Weitere lösungswürdige Probleme
Warum vergisst mich jede KI-App in dem Moment, in dem ich den Tab schließe?
AIWarum setzt das Erlernen eines neuen Fachgebiets immer noch voraus, die richtigen Fragen zu kennen?
AIWarum kann eine fachfremde Person nicht überprüfen, was eine KI ihr gerade gesagt hat?
AIWarum testen wir Modelle an Benchmarks, aber bringen sie nach Bauchgefühl in die Produktion?
AIWarum haben KI-Agenten kein Gedächtnis für ihre eigenen Fehler?
AIWarum kann ich nicht nachprüfen, womit ein Modell tatsächlich trainiert wurde?