Model sıralama tablosu puanları, test kümesi eğitimde hiç görülmediğinde neden çöküyor?

MMLU gibi statik kıyaslamalar yüzde 45'e varan kirlilik oranları taşır; test maddelerinin başka sözcüklerle ifade edilmiş ya da çevrilmiş sürümleri tam eşleşme temizleme işleminden sağ çıkarken yayımlanan puanları şişirmeye devam eder. Bir model, kirlenmiş bir görevde sıralama tablosunun zirvesine çıkabilir; aynı görev temiz biçimde yeniden ifade edildiğinde ise başarısız olabilir. Görevleri periyodik olarak yenileyen dinamik kıyaslamalar mevcut olmakla birlikte standartlaştırılmış tasarım ölçütlerinden yoksundur; bu yüzden sonuçlar aralarında kıyaslanamaz ya da ölçtüklerini iddia ettikleri beceriyi temsil ettikleri doğrulanamaz. Bir sıralama tablosunda yayımlanan her yetenek ve güvenlik iddiası, bağımsız hiçbir tarafın temiz olduğunu doğrulayamadığı rakamlara dayanmaktadır.