Почему я не могу воспроизвести точный вывод, который моя модель выдала в продакшене?

Даже при нулевой температуре один и тот же промпт, отправленный одной и той же модели дважды, может вернуть разные токены. Статья на arXiv от января 2026 года установила первопричину в динамической пакетной обработке: ядра редукции GPU изменяют своё внутреннее дерево арифметических операций при изменении размера батча, а сложение с плавающей точкой не является ассоциативным, поэтому два запроса, обработанных при разных размерах батча, следуют разными численными путями и расходятся. Серверная инфраструктура не обязана записывать или раскрывать контекст батча, в котором был получен тот или иной вывод. Это делает невозможным воспроизведение неудачного инференса, написание регрессионного теста, фиксирующего точное поведение, или реконструкцию того, что модель фактически выдала во время производственного инцидента. Единственное продемонстрированное на сегодняшний день решение влечёт снижение пропускной способности на 61 процент.