ฉันจะรู้ได้อย่างไรว่ากระดานร่างของโมเดล reasoning ขับเคลื่อนคำตอบจริงๆ หรือไม่?

โมเดล frontier ที่แสดง chain-of-thought แบบมองเห็นได้มักได้คำตอบก่อนหรือโดยอิสระจากขั้นตอนเหล่านั้น แล้วจึงสร้างเหตุผลที่ดูสมเหตุสมผลขึ้นมาอธิบายย้อนหลัง เมตริกความน่าเชื่อถือที่มีอยู่ขัดแย้งกันเองขึ้นอยู่กับวิธีสร้าง classifier ซึ่งหมายความว่าไม่มี ground truth ที่ยอมรับกันว่า trace ที่น่าเชื่อถือหน้าตาเป็นอย่างไร ไม่มีเครื่องมือระดับ production ที่ตรวจจับ reasoning ที่ไม่น่าเชื่อถือในขณะ inference หรือระบุความเชื่อมั่นว่า trace นั้นเป็นสาเหตุของผลลัพธ์ อุตสาหกรรมที่มีการกำกับดูแลและการตรวจสอบความปลอดภัยที่ถือว่า reasoning ที่มองเห็นได้เป็นคำอธิบายพฤติกรรมของโมเดล กำลังพึ่งพาสิ่งที่อาจเป็นเพียงเรื่องราวที่แต่งขึ้นหลังจากสรุปผลไปแล้ว