Bagaimana saya tahu agen saya menjadi lebih baik antar versi dan bukan sekadar beruntung?

Ketika sebuah agen menempuh ratusan langkah berurutan selama berjam-jam, evaluasi A/B tradisional tidak lagi efektif karena panggilan alat yang lebih awal membentuk setiap pilihan berikutnya, membuat hasil bergantung pada jalur di setiap jalannya. Menjalankan cukup banyak percobaan independen untuk mendapatkan sinyal yang andal membutuhkan komputasi sebanyak pelatihan. Bidang ini beralih ke metrik proksi seperti tingkat keberhasilan langkah dan akurasi panggilan alat yang secara terbukti tidak berkorelasi dengan hasil tugas akhir pada pekerjaan nyata. Audit 2025 terhadap 445 tolok ukur LLM yang diterbitkan mendokumentasikan kegagalan validitas konstruk pada skala besar: definisi tugas yang samar, kumpulan data cakrawala pendek yang dialihfungsikan, dan pengujian statistik yang tidak ada, semuanya menjadi lebih parah seiring bertambahnya cakrawala tugas. Tim yang membangun produk agentik merilis berdasarkan pemeriksaan manual karena tidak ada metodologi evaluasi yang berprinsip dan dapat direproduksi untuk agen cakrawala panjang.