كيف أعرف أن وكيلي تحسّن بين الإصدارات ولم يكن مجرد حظ؟

حين يخطو الوكيل مئات الخطوات المتسلسلة على مدى ساعات، تنهار تقييمات A/B التقليدية لأن استدعاء مبكراً للأداة يُشكّل كل اختيار لاحق، مما يجعل النتائج تعتمد على المسار عبر عمليات التشغيل. يُكلّف تشغيل تجارب مستقلة كافية للحصول على إشارة موثوقة قدراً من الحوسبة مساوياً للتدريب. يلجأ المجال افتراضياً إلى مقاييس بديلة كمعدل نجاح الخطوة ودقة استدعاء الأدوات، وهي مقاييس لا ترتبط فعلياً بنتائج المهمة النهائية في العمل الحقيقي. وثّق تدقيق عام 2025 لـ445 معياراً منشوراً لنماذج LLM إخفاقات في صلاحية البناء على نطاق واسع: تعريفات مهام مبهمة ومجموعات بيانات قصيرة الأفق مُعاد توظيفها واختبارات إحصائية مفقودة، وكلها تزداد سوءاً مع نمو أفق المهمة. تُطلق الفرق التي تبني منتجات وكيلة على أساس فحوصات يدوية عشوائية لأنه لا توجد منهجية تقييم مبدئية وقابلة للاستنساخ للوكلاء ذوي الأفق الطويل.