Pourquoi ne puis-je pas reproduire exactement la sortie que mon modèle a produite en production ?

Même à température zéro, le même prompt envoyé deux fois au même modèle peut retourner des tokens différents. Un article arXiv de janvier 2026 a identifié la cause profonde dans le batching dynamique : les noyaux de réduction GPU modifient leur arbre arithmétique interne lorsque la taille du batch change, et l'addition en virgule flottante n'est pas associative, si bien que deux requêtes traitées avec des tailles de batch différentes empruntent des chemins numériques distincts et divergent. L'infrastructure de serving n'a aucune obligation d'enregistrer ni d'exposer le contexte de batch ayant produit une sortie donnée. Il devient alors impossible de rejouer une inférence échouée, d'écrire un test de régression fixant le comportement exact, ou de reconstituer ce qu'un modèle a réellement dit lors d'un incident en production. La seule solution démontrée à ce jour impose un coût de 61 pour cent sur le débit.