Waarom storten model-leaderboardscores in wanneer de testset nooit in de training is gezien?

Statische benchmarks zoals MMLU hebben contaminatiepercentages van wel 45%, en geparafraseerde of vertaalde versies van testitems overleven exacte overeenkomst-decontaminatie terwijl ze gepubliceerde scores nog steeds opdrijven. Een model kan een leaderboard aanvoeren bij een gecontamineerde taak en dezelfde taak mislukken wanneer deze schoon wordt geherformuleerd. Dynamische benchmarks die taken periodiek vernieuwen bestaan, maar missen gestandaardiseerde ontwerpcriteria, waardoor resultaten niet vergelijkbaar zijn of geverifieerd kunnen worden als representatief voor de vaardigheid die ze beweren te meten. Elke capaciteits- en veiligheidsclaim gepubliceerd op een leaderboard berust op cijfers die geen onafhankelijke partij als schoon kan valideren.