Por que as pontuações dos modelos em leaderboards despencam quando o conjunto de testes nunca foi visto durante o treinamento?

Benchmarks estáticos como o MMLU apresentam taxas de contaminação de até 45%, e versões parafraseadas ou traduzidas dos itens de teste sobrevivem à descontaminação por correspondência exata enquanto ainda inflam as pontuações publicadas. Um modelo pode liderar um leaderboard em uma tarefa contaminada e falhar na mesma tarefa quando ela é reformulada de forma limpa. Benchmarks dinâmicos que atualizam as tarefas periodicamente existem, mas carecem de critérios de design padronizados, de modo que os resultados não podem ser comparados entre eles nem verificados como representativos da habilidade que afirmam medir. Cada alegação de capacidade e segurança publicada em um leaderboard se baseia em números que nenhuma parte independente pode validar como limpos.