جب test set کو تربیت میں کبھی نہیں دیکھا گیا تو ماڈل leaderboard scores کیوں گر جاتے ہیں؟

MMLU جیسے static benchmarks میں contamination کی شرح 45% تک پہنچ سکتی ہے، اور test items کے paraphrase یا ترجمہ شدہ versions exact-match decontamination سے بچ جاتے ہیں لیکن شائع شدہ scores کو بڑھاوا دیتے رہتے ہیں۔ ایک ماڈل contaminated task پر leaderboard میں سرفہرست آ سکتا ہے اور اسی task کو صاف طریقے سے rephrase کرنے پر ناکام ہو سکتا ہے۔ Dynamic benchmarks جو وقتاً فوقتاً tasks کو refresh کرتے ہیں موجود ہیں، لیکن ان میں standardized design criteria کا فقدان ہے، اس لیے نتائج کا آپس میں موازنہ نہیں کیا جا سکتا اور نہ ہی یہ تصدیق کی جا سکتی ہے کہ وہ جس مہارت کو ماپنے کا دعویٰ کرتے ہیں اس کے نمائندہ ہیں۔ leaderboard پر شائع ہونے والا ہر capability اور safety دعویٰ ایسے اعداد پر قائم ہے جن کو کوئی بھی آزاد فریق صاف قرار نہیں دے سکتا۔