ทำไมฉันถึงไม่สามารถจำลองผลลัพธ์ที่แน่นอนที่โมเดลของฉันให้ไว้ในการใช้งานจริงได้

แม้ที่อุณหภูมิศูนย์ พรอมต์เดียวกันที่ส่งไปยังโมเดลเดียวกันสองครั้งอาจคืนค่าโทเคนที่แตกต่างกัน บทความ arXiv ในเดือนมกราคม 2026 ระบุสาเหตุหลักว่ามาจากการแบตช์แบบไดนามิก เคอร์เนลรีดักชัน GPU เปลี่ยนแผนผังเลขคณิตภายในเมื่อขนาดแบตช์เปลี่ยนแปลง และการบวกทศนิยมไม่มีคุณสมบัติการจัดกลุ่ม ดังนั้นคำขอสองรายการที่ประมวลผลภายใต้ขนาดแบตช์ต่างกันจึงใช้เส้นทางตัวเลขที่แตกต่างกันและแยกออกจากกัน โครงสร้างพื้นฐานการให้บริการไม่มีภาระผูกพันในการบันทึกหรือเปิดเผยบริบทแบตช์ที่สร้างผลลัพธ์ที่กำหนด ทำให้ไม่สามารถเล่นซ้ำการอนุมานที่ล้มเหลว เขียนการทดสอบการถดถอยที่ตรึงพฤติกรรมที่แน่นอน หรือสร้างใหม่สิ่งที่โมเดลพูดจริงๆ ระหว่างเหตุการณ์ในการใช้งานจริงได้ วิธีแก้ไขเดียวที่แสดงให้เห็นจนถึงขณะนี้กำหนดต้นทุนปริมาณงาน 61 เปอร์เซ็นต์