Perché i punteggi delle classifiche dei modelli crollano quando il set di test non è mai stato visto durante l'addestramento?

I benchmark statici come MMLU presentano tassi di contaminazione fino al 45%, e le versioni parafrasate o tradotte degli elementi del test sopravvivono alla decontaminazione a corrispondenza esatta continuando a gonfiare i punteggi pubblicati. Un modello può scalare una classifica su un'attività contaminata e fallire la stessa attività quando viene riformulata in modo pulito. Esistono benchmark dinamici che aggiornano periodicamente i task, ma mancano di criteri di progettazione standardizzati, quindi i risultati non possono essere confrontati tra loro né verificati come rappresentativi della competenza che affermano di misurare. Ogni dichiarazione di capacità e sicurezza pubblicata in una classifica si basa su numeri che nessuna parte indipendente può validare come privi di contaminazione.