Почему результаты моделей в лидербордах рушатся, когда тестовая выборка никогда не встречалась в обучении?

Статические бенчмарки, такие как MMLU, имеют уровень загрязнения до 45%, а перефразированные или переведённые версии тестовых заданий выдерживают точное совпадение при деконтаминации, продолжая при этом завышать публикуемые результаты. Модель может возглавить таблицу лидеров на загрязнённом задании и провалить то же задание при чистой перефразировке. Динамические бенчмарки с периодическим обновлением заданий существуют, однако лишены стандартизированных критериев разработки, поэтому их результаты нельзя сравнивать между собой или проверить на репрезентативность измеряемого навыка. Каждое заявление о возможностях и безопасности, опубликованное в таблице лидеров, опирается на цифры, которые ни одна независимая сторона не может подтвердить как чистые.