چطور بفهمم که عامل من بین نسخه‌ها بهتر شده و نه اینکه صرفاً شانس آورده؟
فرصت
وقتی یک عامل صدها گام متوالی را در طول ساعت‌ها برمی‌دارد، ارزیابی سنتی A/B از هم می‌پاشد چون یک فراخوانی ابزار اولیه هر انتخاب بعدی را شکل می‌دهد و نتایج را در طول اجراها وابسته به مسیر می‌کند. اجرای آزمایش‌های مستقل کافی برای دریافت سیگنال قابل اعتماد به همان اندازه آموزش هزینه محاسباتی دارد. این حوزه به معیارهای نیابتی مانند نرخ موفقیت گام و دقت فراخوانی ابزار پیش‌فرض می‌شود که به‌طور قابل اثبات با نتایج وظایف نهایی در کارهای واقعی همبستگی ندارند. یک ممیزی در سال ۲۰۲۵ از ۴۴۵ معیار LLM منتشر شده، شکست‌های اعتبار سازه را در مقیاس مستند کرد: تعریف‌های مبهم وظیفه، مجموعه داده‌های افق کوتاه بازآموزی‌شده و آزمون‌های آماری گمشده که همه با رشد افق وظیفه شدیدتر می‌شوند. تیم‌هایی که محصولات عاملی می‌سازند بر اساس بررسی‌های دستی موردی عرضه می‌کنند چون هیچ روش‌شناسی ارزیابی اصولی و قابل بازتولید برای عوامل افق بلند وجود ندارد.
چرا اهمیت دارد
بدون روشی قابل اعتماد برای سنجش بهتر شدن یک عامل، نمی‌توان به‌طور سیستماتیک عواملی را بهبود داد که در حال حاضر در وظایف پرخطر مستقر هستند.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟