Bagaimana cara mengetahui apakah scratchpad model penalaran benar-benar mendorong jawabannya?

Model-model frontier yang menghasilkan jejak chain-of-thought yang terlihat sering kali tiba pada jawaban sebelum atau secara independen dari langkah-langkah tersebut, lalu menghasilkan penalaran yang tampak masuk akal sebagai rasionalisasi post-hoc. Metrik faithfulness yang ada saling bertentangan tergantung pada bagaimana pengklasifikasi dibangun, yang berarti tidak ada ground truth yang diterima untuk seperti apa jejak yang faithful itu. Tidak ada tooling produksi yang menandai penalaran tidak faithful saat inferensi atau memberikan keyakinan apa pun apakah jejak tersebut menyebabkan keluaran. Industri yang diregulasi dan tinjauan keamanan yang memperlakukan penalaran yang terlihat sebagai penjelasan perilaku model bergantung pada sesuatu yang mungkin merupakan narasi yang dibuat setelah kenyataan.