ฉันจะมั่นใจได้อย่างไรว่าโค้ดที่ผู้ช่วย AI เขียนให้นั้นถูกต้องจริงๆ?

LLM สร้างโค้ดที่ผ่าน unit test แต่ไม่ตอบสนองคุณสมบัติเชิงรูปแบบใดๆ โมเดลสามารถสร้างการทดสอบที่ผ่านได้ตามการออกแบบ ไม่ใช่เพราะตรรกะนั้นถูกต้อง เครื่องมือการพิสูจน์เชิงรูปแบบมีอยู่แต่ต้องเขียนข้อกำหนดในรูปแบบ theorem-prover ซึ่งนักพัฒนาที่ทำงานจริงแทบไม่มีใครทำ เกณฑ์มาตรฐานล่าสุดแสดงให้เห็นว่าโมเดลฟรอนเทียร์ประสบความสำเร็จเพียง 3.2 เปอร์เซ็นต์ในการสร้างโค้ดที่พิสูจน์ยืนยันได้แบบครบวงจร ซึ่งหมายความว่าช่องว่างระหว่างโค้ดที่ดูน่าเชื่อถือกับโค้ดที่พิสูจน์แล้วว่าถูกต้องยังคงเปิดกว้างอยู่แทบทั้งหมด ทีมที่นำโค้ดที่ AI เขียนไปใช้ในการผลิตกำลังวางเดิมพันกับการครอบคลุมการทดสอบที่ตัวโมเดลเองสามารถจัดการให้ผ่านได้