मुझे अपने मॉडल की खतरनाक क्षमताओं के बारे में शिपिंग के बाद ही क्यों पता चलता है?
अवसर
GCG, AutoDAN और PAIR जैसे स्वचालित रेड-टीमिंग टूल 5 से 15 प्रतिशत आक्रमण सफलता दर रिपोर्ट करते हैं और सुरक्षा का एक भ्रामक एहसास देते हैं। उन्हीं मॉडलों पर बहु-चरण मानव रेड-टीमिंग उन्हीं श्रेणियों में 75 प्रतिशत तक विफलताएं पाती है। इस अंतर का अर्थ है कि जैव-हथियार संश्लेषण मार्गदर्शन या आक्रामक साइबर जैसे क्षेत्रों में खतरनाक क्षमता वृद्धि को स्वचालित पूर्व-तैनाती चरण में नजरअंदाज किया जा रहा है और बाद में क्षेत्र में पता चल रहा है। फ्रंटियर लैब Anthropic के RSP और METR के TaskDev जैसे ढांचों के तहत अपने स्वयं के मैनुअल मूल्यांकन चलाती हैं, लेकिन कार्यप्रणाली इतनी अनदस्तावेज़ और गैर-मानकीकृत है कि कोई भी दो लैब तुलनीय परीक्षण नहीं चलातीं। NIST का AI एजेंट रेड-टीमिंग मार्गदर्शन 2026 की शुरुआत में अभी भी एक टिप्पणीयुक्त रूपरेखा थी, पूर्ण प्रकाशन 2026 के अंत से 2027 तक अपेक्षित है।
यह क्यों मायने रखता है
व्यापक रूप से वितरित मॉडल में तैनाती के बाद खोजी गई एक खतरनाक उभरती क्षमता रिलीज़ से पहले पकड़ी गई क्षमता से एक अलग क्रम की समस्या है।
मैं अवसर को कैसे आंकता हूं
Opportunity Score मेरा अपना आकलन है, कोई माप नहीं: यह कितना तकलीफदेह है, कितनी बार परेशान करता है, और आज इसे हल करने के लिए कितना कम मौजूद है। जितना ज़्यादा स्कोर, उतना ज़्यादा मुझे लगता है कि इसे बनाना सार्थक है।
जब यह सामने आता है तो कितनी तकलीफ देता है।
लोग वास्तव में कितनी बार इससे टकराते हैं।
आज इसके लिए कितने कम अच्छे टूल मौजूद हैं।
और हल करने लायक समस्याएं
हर AI ऐप टैब बंद करते ही मुझे क्यों भूल जाता है?
AIकिसी नए क्षेत्र को सीखना अभी भी यह जानने पर निर्भर क्यों है कि क्या पूछना है?
AIकोई गैर-विशेषज्ञ यह क्यों नहीं जांच सकता कि AI ने उन्हें अभी क्या बताया?
AIहम मॉडलों को बेंचमार्क पर परखते हैं, लेकिन उन्हें महज़ अंदाज़े पर शिप क्यों करते हैं?
AIAI एजेंटों को अपनी गलतियों की याद क्यों नहीं रहती?
AIमैं यह ऑडिट क्यों नहीं कर सकता कि एक मॉडल को वास्तव में किस डेटा पर ट्रेन किया गया था?