Come faccio a sapere se il mio agente è migliorato tra una versione e l'altra e non ha semplicemente avuto fortuna?

Quando un agente compie centinaia di passi sequenziali nel corso di ore, la valutazione A/B tradizionale perde efficacia perché una chiamata a uno strumento nelle prime fasi determina ogni scelta successiva, rendendo i risultati dipendenti dal percorso tra le esecuzioni. Eseguire abbastanza prove indipendenti per ottenere un segnale affidabile costa tanto calcolo quanto l'addestramento. Il settore si affida per default a metriche proxy come il tasso di successo dei passi e l'accuratezza delle chiamate agli strumenti, che dimostrabilmente non correlano con i risultati finali del compito su lavoro reale. Un audit del 2025 su 445 benchmark LLM pubblicati ha documentato fallimenti di validità costruttiva su larga scala: definizioni di compiti vaghe, dataset a breve orizzonte riadattati e test statistici mancanti, tutti elementi che peggiorano con la crescita dell'orizzonte del compito. I team che sviluppano prodotti agentici rilasciano sulla base di controlli manuali occasionali perché non esiste una metodologia di valutazione rigorosa e riproducibile per agenti a lungo orizzonte.