Mengapa saya tidak bisa mereproduksi output persis yang diberikan model saya di produksi?

Bahkan pada temperature nol, prompt yang sama yang dikirim ke model yang sama dua kali bisa menghasilkan token yang berbeda. Sebuah makalah arXiv Januari 2026 menelusuri akar masalah ke dynamic batching: kernel reduksi GPU mengubah pohon aritmetika internalnya saat ukuran batch berubah, dan penjumlahan floating-point tidak bersifat asosiatif, sehingga dua permintaan yang diproses dengan ukuran batch berbeda mengambil jalur numerik yang berbeda dan divergen. Infrastruktur serving tidak berkewajiban untuk mencatat atau mengekspos konteks batch yang menghasilkan output tertentu. Hal ini membuat replay inferensi yang gagal menjadi mustahil, begitu pula penulisan tes regresi yang menyematkan perilaku persis, atau rekonstruksi apa yang sebenarnya dikatakan model selama insiden produksi. Satu-satunya solusi yang telah didemonstrasikan sejauh ini membebankan biaya throughput sebesar 61 persen.