چطور بدانم که مدل پایه‌ای با وزن‌های باز که روی آن تنظیم دقیق می‌کنم، آلوده نشده است؟
فرصت
درب‌های پشتی کاشته‌شده در وزن‌های پیش‌آموزش‌دیده از طریق تنظیم دقیق کامل پارامترها، آموزش آداپتور و به‌روزرسانی‌های RLHF باقی می‌مانند، زیرا الگوهای محرک در برابر تغییر هدف و استراتژی‌های انجماد جزئی مقاوم هستند. این محرک‌ها برای آزمون‌های ایمنی رفتاری استاندارد و ارزیابی معیارها نامرئی هستند. شناسایی آن‌ها نیازمند تحلیل وزن‌ها به روش جعبه‌سفید است که اکثر متخصصان تنظیم دقیق هرگز انجام نمی‌دهند، و هاب‌های اصلی مدل هیچ اسکن اجباری پیش از دسترسی عمومی یک نقطه بازیابی را اعمال نمی‌کنند. سازمانی که یک سیستم تولیدی بر روی یک مدل پایه در معرض خطر می‌سازد، هیچ نشانه‌ای از وجود مشکل ندارد تا زمانی که محرک در محیط واقعی فعال شود.
چرا اهمیت دارد
زنجیره تأمین تنظیم دقیق وزن‌های باز هیچ دروازه امنیتی ندارد، و حالت شکست یک درب پشتی است که از هر بررسی استاندارد جان سالم به در می‌برد.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟