میں کیسے جانوں کہ میرا ایجنٹ ورژنز کے درمیان بہتر ہوا اور محض خوش قسمت نہیں رہا؟

جب ایک ایجنٹ گھنٹوں میں سینکڑوں ترتیب وار قدم اٹھاتا ہے تو روایتی A/B جانچ ناکام ہو جاتی ہے کیونکہ ابتدائی ٹول کال ہر اگلے انتخاب کو شکل دیتی ہے، جو نتائج کو مختلف رنز میں راستے پر منحصر بناتی ہے۔ قابل اعتماد سگنل پانے کے لیے کافی آزاد آزمائشیں چلانا اتنی ہی کمپیوٹ لاگت آتی ہے جتنی تربیت میں۔ یہ شعبہ پراکسی میٹرکس جیسے اسٹیپ کامیابی کی شرح اور ٹول کال درستگی کو بطور ڈیفالٹ استعمال کرتا ہے جو ظاہری طور پر حقیقی کام پر اختتامی نتائج سے منسلک نہیں ہوتیں۔ 445 شائع شدہ LLM بینچ مارکس کے 2025 آڈٹ نے بڑے پیمانے پر تعمیری درستگی کی ناکامیاں دستاویز کیں: مبہم کام کی تعریفیں، دوبارہ استعمال شدہ مختصر افق ڈیٹا سیٹس، اور گمشدہ شماریاتی ٹیسٹ، یہ سب کام کے افق کے بڑھنے کے ساتھ زیادہ سنگین ہو جاتے ہیں۔ ایجنٹک پروڈکٹس بنانے والی ٹیمیں دستی اسپاٹ چیکس پر شپ کرتی ہیں کیونکہ لمبے افق والے ایجنٹس کے لیے کوئی اصولی، قابل تکرار جانچ طریقہ کار موجود نہیں۔