How do I know my agent got better between versions and did not just get lucky?
Oportunidad
When an agent takes hundreds of sequential steps over hours, traditional A/B evaluation breaks down because an early tool call shapes every subsequent choice, making outcomes path-dependent across runs. Running enough independent trials to get reliable signal costs as much compute as training. The field defaults to proxy metrics such as step success rate and tool call accuracy that demonstrably do not correlate with end-task outcomes on real work. A 2025 audit of 445 published LLM benchmarks documented construct-validity failures at scale: vague task definitions, repurposed short-horizon datasets, and missing statistical tests, all of which become more severe as task horizon grows. Teams building agentic products ship on manual spot-checks because no principled, reproducible evaluation methodology for long-horizon agents exists.
Por qué importa
Without a reliable way to measure whether an agent got better, you cannot systematically improve agents that are already deployed in high-stakes tasks.
Cómo evalúo la oportunidad
La Puntuación de Oportunidad es mi propia lectura, no una medición: cuánto duele, con qué frecuencia aparece y qué tan poco existe para resolverlo hoy. Un valor más alto significa que creo que vale más la pena construirlo.
Cuánto dolor causa cuando aparece.
Con qué frecuencia la gente se topa con ello.
Qué tan pocas herramientas buenas existen para ello hoy.
Más problemas que vale la pena resolver
¿Por qué toda aplicación de IA me olvida en el momento en que cierro la pestaña?
AI¿Por qué aprender una nueva área sigue dependiendo de saber qué preguntar?
AI¿Por qué una persona sin experiencia no puede verificar lo que una IA acaba de decirle?
AI¿Por qué probamos los modelos en benchmarks pero los lanzamos a producción guiándonos por la intuición?
AI¿Por qué los agentes de IA no tienen memoria de sus propios errores?
AI¿Por qué no puedo auditar en qué fue entrenado realmente un modelo?