¿Por qué no puedo reproducir exactamente la salida que dio mi modelo en producción?

Incluso con temperatura cero, el mismo prompt enviado dos veces al mismo modelo puede devolver tokens distintos. Un artículo de arXiv de enero de 2026 identificó como causa raíz el batching dinámico: los kernels de reducción de GPU modifican su árbol aritmético interno cuando cambia el tamaño del lote, y la adición en punto flotante no es asociativa, por lo que dos solicitudes procesadas con distintos tamaños de lote toman caminos numéricos diferentes y divergen. La infraestructura de inferencia no tiene obligación de registrar ni exponer el contexto de lote que produjo una salida determinada. Esto hace imposible reproducir una inferencia fallida, escribir una prueba de regresión que fije el comportamiento exacto, o reconstruir lo que un modelo dijo realmente durante un incidente en producción. La única solución demostrada hasta ahora impone un costo del 61 por ciento en rendimiento.