Как убедиться, что код, написанный моим ИИ-ассистентом, действительно корректен?

LLM-модели генерируют код, который проходит юнит-тесты, но не удовлетворяет никаким формальным свойствам. Модель способна сконструировать тесты, проходящие по построению, а не потому, что логика верна. Инструменты формальной верификации существуют, но требуют написания спецификаций в синтаксисе доказывателей теорем, чем практически никто из практикующих разработчиков не занимается. Последние бенчмарки показывают, что передовые модели достигают лишь 3,2 процента успеха в сквозной верифицируемой генерации кода, то есть разрыв между правдоподобно выглядящим кодом и доказуемо корректным остаётся практически полностью незаполненным. Команды, выпускающие написанный ИИ код в продакшен, делают ставку на покрытие тестами, которые сами модели способны обойти.