Mengapa saya tidak dapat mempercayai skor kepercayaan diri model ketika hal itu paling penting?

Model bahasa modern secara rutin menghasilkan token berkonfidensi tinggi pada jawaban yang salah dan token berkonfidensi rendah pada jawaban yang benar. Kesenjangan antara probabilitas yang dinyatakan dan akurasi aktual, yang disebut kesalahan kalibrasi, telah didokumentasikan di berbagai model frontier dalam survei 2025 yang mencakup metode berbasis entropi, logit, dan perturbasi. Agen produksi yang menggunakan skor ini untuk memutuskan kapan harus menunda atau abstain mewarisi miskalibrasi secara langsung, sehingga mereka berhalusinasi maju dengan kepastian palsu atau menolak jawaban yang benar secara tidak perlu. Tidak ada primitif siap pakai yang memberikan sinyal ketidakpastian terkalibrasi dan dapat ditindaklanjuti dengan biaya cukup rendah untuk dijalankan pada waktu inferensi di setiap token keluaran dalam respons streaming.