Hoe weet ik dat mijn agent beter is geworden tussen versies en niet gewoon geluk heeft gehad?

Wanneer een agent honderden opeenvolgende stappen uitvoert over meerdere uren, schiet traditionele A/B-evaluatie tekort omdat een vroege toolaanroep elke volgende keuze bepaalt, waardoor uitkomsten padafhankelijk worden over runs. Voldoende onafhankelijke proeven uitvoeren om een betrouwbaar signaal te krijgen kost evenveel rekenkracht als training. Het vakgebied valt terug op proxymetrieken zoals stapssuccespercentage en nauwkeurigheid van toolaanroepen die aantoonbaar niet correleren met eindtaakresultaten bij echt werk. Een audit uit 2025 van 445 gepubliceerde LLM-benchmarks documenteerde construct-validiteitsfouten op schaal: vage taakdefinities, hergebruikte kortetermijndatasets en ontbrekende statistische tests, die allemaal ernstiger worden naarmate de taakhorizon groeit. Teams die agentische producten bouwen, verzenden op basis van handmatige steekproeven omdat er geen principiële, reproduceerbare evaluatiemethodologie voor langetermijnagenten bestaat.