Waarom kan ik niet exact opnieuw afspelen wat mijn agent deed toen het in productie misging?
Kans
Een LLM-agent die in productie faalt, kan niet betrouwbaar worden gereproduceerd voor debugging, omdat het opnieuw uitvoeren van dezelfde prompt verschillende outputs oplevert. De meeste agent-frameworks loggen inputs en uiteindelijke outputs, maar verwijderen de volledige uitvoeringstrace, waardoor elke tussenliggende tool-aanroep, modelreactie en statusmutatie verloren gaat zodra de run eindigt. Zonder uitvoeringsherkomst is een mislukte run een forensisch zwart gat en reconstrueren engineers storingen op basis van symptomen in plaats van oorzaken. Een paper uit mei 2026 stelt deterministische uitvoeringsgraphs voor als eerste primitief hiervoor, maar merkt op dat het vastleggen en afspelen van niet-deterministische traces op productieschaal zonder onbetaalbare overhead nog steeds een open engineeringprobleem is. Een aparte casestudy uit 2026 over agentische storingen in wetenschappelijke workflows ontdekte dat plausibel ogende maar onjuiste tussenstappen stil door pipelines propageerden, precies omdat er geen re
Waarom het belangrijk is
Reproduceerbare debugging is het minimaal levensvatbare primitief voor het beheren van AI-agents in productie met enige zekerheid.
Hoe ik de kans beoordeel
De Opportunity Score is mijn eigen inschatting, geen meting: hoe ernstig het pijn doet, hoe vaak het toeslaat, en hoe weinig er vandaag de dag bestaat om het op te lossen. Hoger betekent dat ik denk dat het meer de moeite waard is om te bouwen.
Hoeveel pijn het veroorzaakt wanneer het zich voordoet.
Hoe vaak mensen er daadwerkelijk tegenaan lopen.
Hoe weinig goede tools er vandaag de dag voor bestaan.
Meer problemen die het oplossen waard zijn
Waarom vergeet elke AI-app mij op het moment dat ik het tabblad sluit?
AIWaarom is het leren van een nieuw vakgebied nog steeds afhankelijk van weten wat je moet vragen?
AIWaarom kan een niet-expert niet verifiëren wat een AI hem zojuist heeft verteld?
AIWaarom testen we modellen op benchmarks maar brengen we ze op de markt op gevoel?
AIWaarom hebben AI-agenten geen geheugen voor hun eigen fouten?
AIWaarom kan ik niet controleren waarop een model daadwerkelijk is getraind?