Why does the model I use for evaluation prefer the model it came from?
Oportunidad
LLM-as-judge has become the default way to run quality evaluations at scale, but judges from the same model family rate their own outputs 10 to 25 percent higher than equivalent outputs from a different family. Multiple 2025 and 2026 papers confirm the bias holds across position, verbosity, and rubric-constrained formats, and simple mitigations like panel voting reduce but do not eliminate it. Existing measurement frameworks cannot separate genuine quality differences from stylistic self-matching, so the effect cannot be corrected without first being cleanly isolated. Any team using the incumbent model to evaluate a replacement is running an evaluation with a structural thumb on the scale.
Por qué importa
The entire AI improvement loop depends on honest quality signals, and a biased evaluator corrupts that signal at the source without raising any alert.
Cómo evalúo la oportunidad
La Puntuación de Oportunidad es mi propia lectura, no una medición: cuánto duele, con qué frecuencia aparece y qué tan poco existe para resolverlo hoy. Un valor más alto significa que creo que vale más la pena construirlo.
Cuánto dolor causa cuando aparece.
Con qué frecuencia la gente se topa con ello.
Qué tan pocas herramientas buenas existen para ello hoy.
Más problemas que vale la pena resolver
¿Por qué toda aplicación de IA me olvida en el momento en que cierro la pestaña?
AI¿Por qué aprender una nueva área sigue dependiendo de saber qué preguntar?
AI¿Por qué una persona sin experiencia no puede verificar lo que una IA acaba de decirle?
AI¿Por qué probamos los modelos en benchmarks pero los lanzamos a producción guiándonos por la intuición?
AI¿Por qué los agentes de IA no tienen memoria de sus propios errores?
AI¿Por qué no puedo auditar en qué fue entrenado realmente un modelo?