¿Por qué colapsan las puntuaciones de los modelos en los rankings cuando el conjunto de pruebas nunca ha aparecido en el entrenamiento?

Los benchmarks estáticos como MMLU tienen tasas de contaminación de hasta el 45%, y las versiones parafraseadas o traducidas de los elementos de prueba sobreviven a la descontaminación por coincidencia exacta mientras siguen inflando las puntuaciones publicadas. Un modelo puede encabezar un ranking con una tarea contaminada y fallar esa misma tarea cuando se reformula con limpieza. Existen benchmarks dinámicos que actualizan las tareas periódicamente, pero carecen de criterios de diseño estandarizados, por lo que los resultados no pueden compararse entre ellos ni verificarse como representativos de la habilidad que pretenden medir. Toda reclamación de capacidad y seguridad publicada en un ranking se sustenta en cifras que ningún tercero independiente puede validar como limpias.