Bagaimana saya tahu kode yang ditulis asisten AI saya benar-benar sudah benar?

LLM menghasilkan kode yang lulus unit test tetapi tidak memenuhi properti formal apa pun. Sebuah model bisa membuat tes yang lulus berdasarkan konstruksi, bukan karena logikanya benar. Alat verifikasi formal memang ada, tetapi membutuhkan penulisan spesifikasi dalam sintaks theorem-prover, yang hampir tidak pernah dilakukan developer yang bekerja. Benchmark terbaru menunjukkan bahwa model-model frontier hanya mencapai 3,2 persen keberhasilan dalam generasi kode yang dapat diverifikasi secara end-to-end, artinya kesenjangan antara kode yang tampak masuk akal dan kode yang terbukti benar hampir sepenuhnya belum terjembatani. Tim yang mengirimkan kode hasil AI ke produksi sedang mempertaruhkan cakupan tes yang bisa dipermainkan oleh model itu sendiri.