لماذا لا أكتشف ما يمكن لنموذجي فعله من أمور خطيرة إلا بعد إطلاقه؟
الفرصة
تُبلِّغ أدوات الاختبار الاستغلالي الآلي كـ GCG وAutoDAN وPAIR عن معدلات نجاح هجمات تتراوح بين 5 و15 بالمئة، مما يوحي بشعور زائف بالأمان. بينما يكشف الاختبار الاستغلالي البشري متعدد الأدوار على النماذج ذاتها عن إخفاقات تصل إلى 75 بالمئة من الوقت في الفئات نفسها. يعني هذا الفارق أن الارتقاء بالقدرات الخطيرة في مجالات كتوجيهات تصنيع الأسلحة البيولوجية أو الهجمات الإلكترونية الهجومية يُتغاضى عنه في مرحلة ما قبل النشر الآلية، ويُكتشف في الميدان عوضاً عن ذلك. تُجري مختبرات الحدود تقييماتها اليدوية الخاصة في إطار أطر عمل كـ RSP الخاص بـ Anthropic وTaskDev الخاص بـ METR، غير أن المنهجية غير موثقة وغير موحدة بما يكفي لدرجة أن لا مختبرَين يُجريان اختبارات قابلة للمقارنة. كانت إرشادات الاختبار الاستغلالي لوكلاء الذكاء الاصطناعي الصادرة عن NIST لا تزال مخططاً موضح الملاحظات في مطلع 2026، مع توقع صدور النسخة الكاملة في أواخر 2026 إلى 2027.
لماذا تهم
اكتشاف قدرة ناشئة خطيرة بعد نشر نموذج موزع على نطاق واسع يمثل مشكلة من طبيعة مختلفة تماماً مقارنة باكتشافها قبل الإصدار.
كيف أقيّم الفرصة
نقاط الفرصة هي قراءتي الشخصية لا قياس دقيق: مدى تأثير المشكلة، وتكرار مواجهتها، وشُح الحلول المتاحة لها اليوم. كلما ارتفعت النقاط، كان البناء في رأيي أجدر بالاهتمام.
مقدار الألم الذي تسببه حين تظهر.
مدى تكرار مواجهة الناس لها فعلياً.
مدى شُح الأدوات الجيدة المتاحة لها اليوم.
مزيد من المشكلات التي تستحق الحل
لماذا تنساني كل تطبيقات الذكاء الاصطناعي في اللحظة التي أغلق فيها التبويب؟
AIلماذا لا يزال تعلم مجال جديد رهيناً بمعرفة الأسئلة الصحيحة؟
AIلماذا لا يستطيع غير المتخصص التحقق مما أخبره به الذكاء الاصطناعي للتو؟
AIلماذا نختبر النماذج على المعايير القياسية ثم نطلقها بناءً على الحدس؟
AIلماذا لا تملك وكلاء الذكاء الاصطناعي ذاكرة لأخطائها الخاصة؟
AIلماذا لا يمكنني مراجعة ما تدرّب عليه النموذج فعلاً؟