Làm sao tôi biết mã mà trợ lý AI của mình viết thực sự là đúng?

Cơ hội

Các LLM tạo ra mã vượt qua unit test nhưng không thỏa mãn bất kỳ thuộc tính hình thức nào. Một mô hình có thể xây dựng các bài kiểm tra vượt qua theo cấu trúc, không phải vì logic đúng. Các công cụ xác minh hình thức tồn tại nhưng yêu cầu viết đặc tả theo cú pháp theorem-prover, điều mà hầu như không nhà phát triển nào làm trong thực tế. Các benchmark gần đây cho thấy các mô hình hàng đầu chỉ đạt tỷ lệ thành công 3,2 phần trăm trong việc tạo mã có thể xác minh đầu-cuối, nghĩa là khoảng cách giữa mã trông có vẻ hợp lý và mã được chứng minh là đúng vẫn còn gần như hoàn toàn bỏ ngỏ. Các nhóm đưa mã do AI viết vào production đang đặt cược vào độ phủ kiểm tra mà chính các mô hình có thể gian lận được.

Tại sao quan trọng

Đảm bảo tính đúng đắn tự động cho mã do AI tạo ra là thứ biến các trợ lý lập trình từ công cụ tăng tốc thành công cụ tăng độ tin cậy.

Cách tôi đánh giá cơ hội

Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.

Mức độ nghiêm trọng8/10

Mức độ phiền toái nó gây ra khi xuất hiện.

Tần suất9/10

Tần suất mọi người thực sự gặp phải nó.

Khoảng trắng8/10

Có rất ít công cụ tốt để xử lý nó hiện nay.

Thêm các vấn đề đáng giải quyết

Tại sao mọi ứng dụng AI đều quên tôi ngay khi tôi đóng tab?

Tại sao việc học một lĩnh vực mới vẫn bị chặn bởi việc phải biết hỏi gì?

Tại sao người không chuyên không thể xác minh điều một AI vừa nói với họ?

Tại sao chúng ta kiểm tra mô hình trên các bảng xếp hạng nhưng lại triển khai chúng dựa trên cảm tính?

Tại sao các AI agent không có trí nhớ về lỗi lầm của chính mình?

Tại sao tôi không thể kiểm tra dữ liệu mà một mô hình thực sự được huấn luyện trên đó?

← Tất cả các vấn đề đáng giải quyết Về Anurag →