ทำไมฉันจึงไม่สามารถเชื่อถือคะแนนความมั่นใจของโมเดลได้เมื่อมันสำคัญที่สุด?

language model สมัยใหม่มักส่งออก token ที่มีความมั่นใจสูงสำหรับคำตอบที่ผิด และ token ที่มีความมั่นใจต่ำสำหรับคำตอบที่ถูก ช่องว่างระหว่างความน่าจะเป็นที่ระบุและความแม่นยำที่แท้จริงซึ่งเรียกว่า calibration error ได้รับการบันทึกในโมเดลชั้นนำในการสำรวจปี 2025 ที่ครอบคลุมวิธีการแบบ entropy, logit และ perturbation agent ใน production ที่ใช้คะแนนเหล่านี้ตัดสินใจว่าเมื่อใดควรส่งต่อหรืองดเว้นจะรับปัญหา miscalibration นี้มาโดยตรง ทำให้ทั้ง hallucinate ต่อไปด้วยความมั่นใจที่ผิดพลาด หรือปฏิเสธคำตอบที่ถูกต้องโดยไม่จำเป็น ไม่มี primitive สำเร็จรูปใดที่ให้สัญญาณความไม่แน่นอนที่ calibrate แล้วและดำเนินการได้จริงในราคาถูกพอที่จะทำงาน ณ เวลา inference บน output token ทุกตัวใน streaming response