Ajanımın versiyonlar arasında gerçekten gelişip gelişmediğini yoksa yalnızca şanslı mı olduğunu nasıl bilirim?

Bir ajan saatler boyunca yüzlerce ardışık adım attığında, geleneksel A/B değerlendirmesi çöker; çünkü erken bir araç çağrısı sonraki her seçimi şekillendirir ve bu da sonuçları çalıştırmalar arasında yola bağımlı hale getirir. Güvenilir sinyal elde etmek için yeterli sayıda bağımsız deneme çalıştırmak, eğitim kadar hesaplama maliyeti doğurur. Alan, gerçek çalışmalardaki nihai görev sonuçlarıyla açıkça bağıntılı olmadığı kanıtlanmış adım başarı oranı ve araç çağrısı doğruluğu gibi vekil metriklere başvurur. 445 yayımlanmış LLM kıyaslama testinin 2025 denetimi, ölçekte yapı geçerliliği başarısızlıklarını belgeledi: belirsiz görev tanımları, yeniden amaçlandırılmış kısa ufuklu veri kümeleri ve eksik istatistiksel testler; bunların tümü görev ufku büyüdükçe daha da ağırlaşır. Ajanlı ürünler geliştiren ekipler, uzun vadeli ajanlar için ilkeli ve yeniden üretilebilir bir değerlendirme metodolojisi bulunmadığından manuel nokta kontrollerine dayanarak ürün çıkarmaktadır.