एक दूषित दस्तावेज़ मेरे असिस्टेंट को मेरे बारे में जो कुछ पता है, वह सब चुपचाप कैसे चुरा सकता है?
अवसर
जून 2025 में, Aim Security ने EchoLeak का खुलासा किया, जो किसी प्रोडक्शन AI सिस्टम से वास्तविक डेटा चोरी करने वाला पहला दस्तावेज़ीकृत ज़ीरो-क्लिक प्रॉम्प्ट इंजेक्शन था। एक ही दुर्भावनापूर्ण ईमेल के कारण Microsoft Copilot ने बिना किसी यूजर इंटरैक्शन के संवेदनशील डेटा चुपचाप भेज दिया। मूल समस्या यह है कि स्थायी मेमोरी और टूल-कॉलिंग एक्सेस वाले AI असिस्टेंट दो खतरनाक गुणों को एक साथ रखते हैं। वे संचित व्यक्तिगत संदर्भ को संजोकर रखते हैं और अविश्वसनीय सामग्री में छिपे निर्देशों पर कार्य कर सकते हैं। असिस्टेंट जो भी नया दस्तावेज़, ईमेल या वेबपेज पढ़ता है, वह एक संभावित इंस्ट्रक्शन सर्फेस है। यूजर जिस मेमोरी पर असिस्टेंट का भरोसा करता है और असिस्टेंट जो बाहरी सामग्री से निर्देश लेता है, उनके बीच कोई आइसोलेशन बाउंड्री नहीं है, और मौजूदा सैंडबॉक्सिंग प्रस्ताव टूल कॉल्स को तो संबोधित करते हैं, लेकिन मेमोरी रीड एक्सेस को नहीं।
यह क्यों मायने रखता है
व्यक्तिगत AI मेमोरी हर दुर्भावनापूर्ण दस्तावेज़ को एक लक्षित डोज़ियर-चोरी के हमले में बदल देती है, जो एक नई अटैक क्लास है जिसके लिए कोई परिपक्व बचाव मौजूद नहीं है।
मैं अवसर को कैसे आंकता हूं
Opportunity Score मेरा अपना आकलन है, कोई माप नहीं: यह कितना तकलीफदेह है, कितनी बार परेशान करता है, और आज इसे हल करने के लिए कितना कम मौजूद है। जितना ज़्यादा स्कोर, उतना ज़्यादा मुझे लगता है कि इसे बनाना सार्थक है।
जब यह सामने आता है तो कितनी तकलीफ देता है।
लोग वास्तव में कितनी बार इससे टकराते हैं।
आज इसके लिए कितने कम अच्छे टूल मौजूद हैं।
और हल करने लायक समस्याएं
हर AI ऐप टैब बंद करते ही मुझे क्यों भूल जाता है?
AIकिसी नए क्षेत्र को सीखना अभी भी यह जानने पर निर्भर क्यों है कि क्या पूछना है?
AIकोई गैर-विशेषज्ञ यह क्यों नहीं जांच सकता कि AI ने उन्हें अभी क्या बताया?
AIहम मॉडलों को बेंचमार्क पर परखते हैं, लेकिन उन्हें महज़ अंदाज़े पर शिप क्यों करते हैं?
AIAI एजेंटों को अपनी गलतियों की याद क्यों नहीं रहती?
AIमैं यह ऑडिट क्यों नहीं कर सकता कि एक मॉडल को वास्तव में किस डेटा पर ट्रेन किया गया था?