چرا امتیازات لیدربورد مدل‌ها وقتی مجموعه آزمون هرگز در مرحله آموزش دیده نشده، فرو می‌ریزند؟
فرصت
بنچمارک‌های ایستا مانند MMLU نرخ آلودگی‌ای تا ۴۵٪ دارند، و نسخه‌های بازنویسی‌شده یا ترجمه‌شده آیتم‌های آزمون از فرآیند آلودگی‌زدایی مبتنی بر تطابق دقیق جان سالم به در می‌برند و در عین حال امتیازات منتشرشده را متورم می‌کنند. یک مدل می‌تواند در یک وظیفه آلوده به صدر لیدربورد برسد و همان وظیفه را وقتی به شکل تمیز بازنویسی شود، شکست بخورد. بنچمارک‌های پویا که وظایف را به صورت دوره‌ای بازسازی می‌کنند وجود دارند، اما فاقد معیارهای طراحی استانداردشده هستند، بنابراین نتایج آن‌ها نه قابل مقایسه با یکدیگرند و نه می‌توان تأیید کرد که نماینده مهارتی هستند که ادعا می‌کنند اندازه می‌گیرند. هر ادعای توانایی و ایمنی منتشرشده در یک لیدربورد بر اعدادی استوار است که هیچ طرف مستقلی نمی‌تواند صحت آن‌ها را تأیید کند.
چرا اهمیت دارد
ارزیابی قابل اعتماد پیش‌نیاز هر تصمیم ایمنی و استقرار پایین‌دستی است، و اعدادی که این تصمیم‌ها بر آن‌ها متکی هستند در حال حاضر قابل اعتماد نیستند.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟