ทำไมคะแนนบน leaderboard ของโมเดลถึงดิ่งลงเมื่อชุดทดสอบไม่เคยปรากฏในข้อมูลฝึก?

benchmark แบบคงที่อย่าง MMLU มีอัตราการปนเปื้อนสูงถึง 45% และเวอร์ชันที่ถอดความหรือแปลของข้อทดสอบยังรอดจากการกรองแบบ exact-match ในขณะที่ยังคงปั่นคะแนนที่เผยแพร่ให้สูงขึ้น โมเดลสามารถครองอันดับหนึ่งบน leaderboard ด้วยงานที่ปนเปื้อน แต่ล้มเหลวในงานเดิมเมื่อถูกถอดความอย่างสะอาด benchmark แบบไดนามิกที่รีเฟรชงานเป็นระยะมีอยู่ แต่ขาดเกณฑ์การออกแบบมาตรฐาน ทำให้ผลลัพธ์ไม่สามารถเปรียบเทียบข้ามกันหรือตรวจสอบได้ว่าเป็นตัวแทนของทักษะที่อ้างวัด การอ้างสิทธิ์ด้านความสามารถและความปลอดภัยทุกข้อที่เผยแพร่บน leaderboard ล้วนอิงตัวเลขที่ไม่มีฝ่ายอิสระใดรับรองได้ว่าสะอาด