मॉडल लीडरबोर्ड स्कोर क्यों गिर जाते हैं जब टेस्ट सेट को ट्रेनिंग में कभी नहीं देखा गया हो?

MMLU जैसे स्टैटिक बेंचमार्क में 45% तक की संदूषण दर होती है, और टेस्ट आइटम के पैराफ्रेज़ या अनुवादित संस्करण एग्जैक्ट-मैच डीकंटेमिनेशन से बचते हुए प्रकाशित स्कोर को बढ़ाते रहते हैं। एक मॉडल संदूषित कार्य पर लीडरबोर्ड में शीर्ष पर हो सकता है और उसी कार्य को साफ तरीके से दोबारा पूछे जाने पर विफल हो सकता है। डायनामिक बेंचमार्क जो समय-समय पर कार्यों को ताज़ा करते हैं, मौजूद हैं लेकिन उनमें मानकीकृत डिज़ाइन मानदंडों का अभाव है, इसलिए उनके बीच परिणामों की तुलना नहीं की जा सकती या यह सत्यापित नहीं किया जा सकता कि वे उस कौशल का प्रतिनिधित्व करते हैं जिसे वे मापने का दावा करते हैं। लीडरबोर्ड पर प्रकाशित हर क्षमता और सुरक्षा दावा उन संख्याओं पर टिका है जिन्हें कोई भी स्वतंत्र पक्ष स्वच्छ के रूप में सत्यापित नहीं कर सकता।