Por que não consigo reproduzir a saída exata que meu modelo gerou em produção?

Mesmo com temperatura zero, o mesmo prompt enviado ao mesmo modelo duas vezes pode retornar tokens diferentes. Um artigo do arXiv de janeiro de 2026 rastreou a causa raiz ao batching dinâmico: kernels de redução de GPU alteram sua árvore aritmética interna quando o tamanho do lote muda, e a adição de ponto flutuante não é associativa, então duas requisições processadas com tamanhos de lote diferentes percorrem caminhos numéricos distintos e divergem. A infraestrutura de serving não tem obrigação de registrar ou expor o contexto de lote que produziu uma determinada saída. Isso torna impossível reproduzir uma inferência com falha, escrever um teste de regressão que fixe o comportamento exato ou reconstruir o que um modelo realmente disse durante um incidente em produção. A única solução demonstrada até agora impõe um custo de 61 por cento no throughput.