Warum brechen Modell-Leaderboard-Ergebnisse ein, wenn der Testdatensatz nie im Training gesehen wurde?

Statische Benchmarks wie MMLU weisen Kontaminationsraten von bis zu 45% auf, und paraphrasierte oder übersetzte Versionen von Testaufgaben überstehen die Exact-Match-Dekontaminierung, während sie die veröffentlichten Ergebnisse weiterhin verzerren. Ein Modell kann auf einem Leaderboard bei einer kontaminierten Aufgabe an der Spitze stehen und dieselbe Aufgabe scheitern, wenn sie sauber umformuliert wird. Dynamische Benchmarks, die Aufgaben regelmäßig aktualisieren, existieren, besitzen jedoch keine standardisierten Designkriterien, sodass Ergebnisse weder untereinander verglichen noch als repräsentativ für die angeblich gemessene Fähigkeit verifiziert werden können. Jede Fähigkeits- und Sicherheitsaussage, die auf einem Leaderboard veröffentlicht wird, beruht auf Zahlen, die keine unabhängige Partei als sauber validieren kann.