Mengapa skor leaderboard model runtuh ketika set pengujian tidak pernah dilihat selama pelatihan?

Benchmark statis seperti MMLU memiliki tingkat kontaminasi hingga 45%, dan versi parafrase atau terjemahan dari item pengujian bertahan dari decontaminasi pencocokan tepat sambil tetap menggembungkan skor yang dipublikasikan. Sebuah model bisa memuncaki leaderboard pada tugas yang terkontaminasi lalu gagal pada tugas yang sama ketika dirumuskan ulang dengan bersih. Benchmark dinamis yang memperbarui tugas secara berkala memang ada, tetapi tidak memiliki kriteria desain yang terstandarisasi, sehingga hasilnya tidak bisa dibandingkan satu sama lain atau diverifikasi sebagai representasi kemampuan yang diklaim untuk diukur. Setiap klaim kemampuan dan keamanan yang dipublikasikan di leaderboard bersandar pada angka yang tidak dapat divalidasi sebagai bersih oleh pihak independen mana pun.