چرا فقط پس از ارسال مدلم متوجه می‌شوم که چه کارهای خطرناکی می‌تواند انجام دهد؟
فرصت
ابزارهای قرمزتیمینگ خودکار مانند GCG، AutoDAN و PAIR نرخ موفقیت حمله ۵ تا ۱۵ درصد گزارش می‌دهند و حس امنیتی کاذب ایجاد می‌کنند. قرمزتیمینگ انسانی چندمرحله‌ای بر روی همان مدل‌ها در همان دسته‌بندی‌ها تا ۷۵ درصد از مواقع شکست پیدا می‌کند. این شکاف به این معناست که ارتقاء قابلیت‌های خطرناک در حوزه‌هایی مانند راهنمایی سنتز سلاح‌های بیولوژیکی یا حملات سایبری تهاجمی در مرحله پیش از استقرار خودکار از قلم می‌افتد و در میدان عمل کشف می‌شود. آزمایشگاه‌های پیشرو ارزیابی‌های دستی خود را تحت چارچوب‌هایی مانند RSP آنتروپیک و TaskDev METR اجرا می‌کنند، اما روش‌شناسی آن‌قدر مستندسازی‌نشده و غیراستاندارد است که هیچ دو آزمایشگاهی آزمون‌های قابل مقایسه‌ای اجرا نمی‌کنند. راهنمایی قرمزتیمینگ عامل هوش مصنوعی NIST در اوایل ۲۰۲۶ هنوز یک طرح حاشیه‌نویسی‌شده بود، با انتشار کامل مورد انتظار در اواخر ۲۰۲۶ تا ۲۰۲۷.
چرا اهمیت دارد
یک قابلیت نوظهور خطرناک که پس از استقرار در مدلی با توزیع گسترده کشف می‌شود، مشکلی از جنسی کاملاً متفاوت است نسبت به آنچه پیش از انتشار شناسایی شود.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟