Làm sao tôi biết agent của mình đã cải thiện giữa các phiên bản và không chỉ đơn thuần là gặp may?

Khi một agent thực hiện hàng trăm bước tuần tự trong nhiều giờ, đánh giá A/B truyền thống sụp đổ vì một lệnh gọi công cụ sớm định hình mọi lựa chọn tiếp theo, khiến kết quả phụ thuộc vào đường dẫn qua các lần chạy. Chạy đủ thử nghiệm độc lập để có tín hiệu đáng tin cậy tốn chi phí tính toán tương đương với huấn luyện. Lĩnh vực này mặc định dùng các chỉ số đại diện như tỷ lệ thành công từng bước và độ chính xác lệnh gọi công cụ mà rõ ràng không tương quan với kết quả nhiệm vụ cuối trong công việc thực tế. Một cuộc kiểm toán năm 2025 về 445 benchmark LLM đã công bố ghi nhận lỗi tính hợp lệ cấu trúc ở quy mô lớn: định nghĩa nhiệm vụ mơ hồ, tập dữ liệu ngắn hạn được tái sử dụng và thiếu kiểm định thống kê, tất cả đều trở nên nghiêm trọng hơn khi độ dài nhiệm vụ tăng lên. Các nhóm xây dựng sản phẩm dạng agent phát hành dựa trên các kiểm tra ngẫu nhiên thủ công vì không có phương pháp đánh giá có nguyên tắc và có thể tái tạo nào dành cho các agent dài hạn tồn tại.