Waarom kan ik de exacte uitvoer die mijn model in productie gaf niet reproduceren?

Zelfs bij temperatuur nul kan dezelfde prompt die tweemaal naar hetzelfde model wordt gestuurd verschillende tokens teruggeven. Een arXiv-paper uit januari 2026 traceerde de oorzaak naar dynamische batching: GPU-reductiekernels veranderen hun interne rekenkundige boom wanneer de batchgrootte verandert, en optelling van zwevendekommagetallen is niet associatief, waardoor twee verzoeken die onder verschillende batchgroottes worden verwerkt verschillende numerieke paden nemen en uiteenlopen. Serveerinfrastructuur is niet verplicht om de batchcontext die een bepaalde uitvoer produceerde vast te leggen of beschikbaar te stellen. Dit maakt het onmogelijk een mislukte inferentie opnieuw af te spelen, een regressietest te schrijven die exact gedrag vastlegt, of te reconstrueren wat een model tijdens een productie-incident daadwerkelijk zei. De enige tot nu toe gedemonstreerde oplossing gaat gepaard met een doorvoerverlies van 61 procent.