كيف أعرف أن الكود الذي كتبه مساعد الذكاء الاصطناعي صحيح فعلاً؟

تُنتج النماذج اللغوية الكبيرة كوداً يجتاز اختبارات الوحدة لكنه لا يستوفي أي خصائص رسمية. يمكن للنموذج بناء اختبارات تنجح بالتصميم لا لأن المنطق صحيح. أدوات التحقق الرسمي موجودة لكنها تستلزم كتابة مواصفات بصيغة مُثبِت النظريات، وهو ما يكاد لا يفعله أي مطوِّر عملي. تُظهر المعايير الأخيرة أن نماذج الحدود تحقق نجاحاً بنسبة 3.2 بالمئة فقط في توليد كود قابل للتحقق من طرف إلى طرف، مما يعني أن الهوة بين الكود المقنع والكود المُثبَت صحته تظل مفتوحة على مصراعيها تقريباً. الفرق التي تُوصل كوداً مكتوباً بالذكاء الاصطناعي إلى بيئة الإنتاج تراهن على تغطية اختبارية يمكن للنماذج ذاتها التحايل عليها.