¿Cómo sé que mi agente mejoró entre versiones y no solo tuvo suerte?

Cuando un agente realiza cientos de pasos secuenciales durante horas, la evaluación A/B tradicional se rompe porque una llamada a herramienta temprana condiciona cada elección posterior, haciendo que los resultados sean path-dependent entre ejecuciones. Ejecutar suficientes pruebas independientes para obtener una señal confiable cuesta tanto cómputo como el propio entrenamiento. El campo recurre por defecto a métricas proxy como la tasa de éxito por paso y la precisión de las llamadas a herramientas, que demostrablemente no correlacionan con los resultados finales en trabajo real. Una auditoría de 2025 sobre 445 benchmarks de LLM publicados documentó fallos de validez de constructo a escala: definiciones de tareas vagas, conjuntos de datos de horizonte corto reutilizados y pruebas estadísticas ausentes, todos los cuales se agravan a medida que el horizonte de la tarea crece. Los equipos que desarrollan productos agénticos lanzan basándose en verificaciones manuales puntuales porque no existe una metodología de evaluación principiada y reproducible para agentes de horizonte largo.