Pourquoi les scores des classements de modèles s'effondrent-ils lorsque l'ensemble de test n'a jamais été vu à l'entraînement ?

Les benchmarks statiques comme MMLU présentent des taux de contamination pouvant atteindre 45 %, et les versions paraphrasées ou traduites des éléments de test survivent à la décontamination par correspondance exacte tout en continuant à gonfler les scores publiés. Un modèle peut dominer un classement sur une tâche contaminée et échouer sur la même tâche lorsqu'elle est reformulée proprement. Des benchmarks dynamiques qui actualisent périodiquement les tâches existent, mais ils manquent de critères de conception standardisés, de sorte que les résultats ne peuvent pas être comparés entre eux ni vérifiés comme représentatifs de la compétence qu'ils prétendent mesurer. Toute affirmation de capacité ou de sécurité publiée dans un classement repose sur des chiffres qu'aucune partie indépendante ne peut valider comme étant propres.