Comment savoir si mon agent s'est amélioré entre les versions et n'a pas simplement eu de la chance?

Lorsqu'un agent effectue des centaines d'étapes séquentielles sur plusieurs heures, l'évaluation A/B traditionnelle s'effondre parce qu'un appel d'outil précoce conditionne chaque choix ultérieur, rendant les résultats dépendants du chemin parcouru entre les exécutions. Effectuer suffisamment d'essais indépendants pour obtenir un signal fiable coûte autant de puissance de calcul que l'entraînement. Le domaine se replie sur des métriques de substitution telles que le taux de succès par étape et la précision des appels d'outils, qui ne corrèlent manifestement pas avec les résultats finaux sur du travail réel. Un audit de 2025 portant sur 445 benchmarks LLM publiés a documenté des défaillances de validité des construits à grande échelle : définitions de tâches vagues, jeux de données à horizon court réutilisés et tests statistiques manquants, tous s'aggravant à mesure que l'horizon de la tâche s'allonge. Les équipes développant des produits agentiques livrent sur la base de vérifications manuelles ponctuelles car aucune méthodologie d'évaluation rigoureuse et reproductible pour les agents à long horizon n'existe.