আমি কীভাবে জানব যে আমার এজেন্ট ভার্সনগুলোর মধ্যে আসলেই উন্নত হয়েছে, নাকি শুধু ভাগ্যক্রমে কাজ হয়েছে?

যখন একটি এজেন্ট ঘণ্টার পর ঘণ্টা ধরে শত শত ধারাবাহিক ধাপ নেয়, তখন ঐতিহ্যগত A/B মূল্যায়ন ভেঙে পড়ে কারণ একটি প্রাথমিক টুল কল পরবর্তী প্রতিটি পছন্দকে প্রভাবিত করে, ফলে একাধিক রানে ফলাফল পথ-নির্ভর হয়ে পড়ে। নির্ভরযোগ্য সংকেত পেতে যথেষ্ট স্বাধীন ট্রায়াল চালানোর জন্য ট্রেনিংয়ের সমান কম্পিউট খরচ হয়। ক্ষেত্রটি প্রক্সি মেট্রিক্সে ডিফল্ট করে, যেমন স্টেপ সাকসেস রেট এবং টুল কল অ্যাকুরেসি, যেগুলো প্রমাণযোগ্যভাবে বাস্তব কাজে শেষ-টাস্কের ফলাফলের সাথে সম্পর্কযুক্ত নয়। ৪৪৫টি প্রকাশিত LLM বেঞ্চমার্কের একটি ২০২৫ সালের অডিট বড় আকারে কনস্ট্রাক্ট-ভ্যালিডিটি ব্যর্থতা নথিভুক্ত করেছে: অস্পষ্ট টাস্ক সংজ্ঞা, পুনর্ব্যবহৃত শর্ট-হরাইজন ডেটাসেট এবং অনুপস্থিত পরিসংখ্যান পরীক্ষা, যা সবই টাস্ক হরাইজন বাড়ার সাথে আরো গুরুতর হয়। এজেন্টিক পণ্য নির্মাণকারী দলগুলো ম্যানুয়াল স্পট-চেকের উপর নির্ভর করে শিপ করে কারণ দীর্ঘ-হরাইজন এজেন্টের জন্য কোনো নীতিসম্মত, পুনরুৎপাদনযোগ্য মূল্যায়ন পদ্ধতি এখনো বিদ্যমান নেই।