Warum kann ich die genaue Ausgabe meines Modells aus der Produktionsumgebung nicht reproduzieren?

Selbst bei Temperatur null kann derselbe Prompt, der zweimal an dasselbe Modell gesendet wird, unterschiedliche Token zurückgeben. Ein arXiv-Paper vom Januar 2026 führte die Ursache auf dynamisches Batching zurück: GPU-Reduktionskerne ändern ihren internen Arithmetikbaum, wenn sich die Batch-Größe ändert, und Gleitkommaaddition ist nicht assoziativ, sodass zwei Anfragen unter verschiedenen Batch-Größen unterschiedliche numerische Pfade einschlagen und divergieren. Die Serving-Infrastruktur ist nicht verpflichtet, den Batch-Kontext aufzuzeichnen oder offenzulegen, der eine bestimmte Ausgabe erzeugt hat. Das macht es unmöglich, eine fehlgeschlagene Inferenz zu wiederholen, einen Regressionstest zu schreiben, der das genaue Verhalten fixiert, oder zu rekonstruieren, was ein Modell während eines Produktionsvorfalls tatsächlich ausgegeben hat. Die einzige bisher demonstrierte Lösung verursacht einen Durchsatzrückgang von 61 Prozent.