मैं प्रोडक्शन में अपने मॉडल के हूबहू आउटपुट को दोबारा क्यों नहीं पा सकता?
अवसर
टेम्परेचर शून्य पर भी, एक ही प्रॉम्प्ट को एक ही मॉडल को दो बार भेजने पर अलग-अलग टोकन मिल सकते हैं। जनवरी 2026 के एक arXiv पेपर ने इसकी जड़ डायनामिक बैचिंग में खोजी: बैच साइज बदलने पर GPU रिडक्शन कर्नेल अपना आंतरिक अरिथमेटिक ट्री बदल देते हैं, और फ्लोटिंग-पॉइंट जोड़ असोसिएटिव नहीं होता, इसलिए अलग-अलग बैच साइज में प्रोसेस किए गए दो रिक्वेस्ट अलग-अलग संख्यात्मक रास्ते लेते हैं और भिन्न परिणाम देते हैं। सर्विंग इन्फ्रास्ट्रक्चर पर किसी आउटपुट को जन्म देने वाले बैच संदर्भ को रिकॉर्ड करने या उजागर करने की कोई बाध्यता नहीं है। इससे किसी फेल इनफरेंस को रीप्ले करना, सटीक व्यवहार को पिन करने वाला रिग्रेशन टेस्ट लिखना, या किसी प्रोडक्शन इंसिडेंट के दौरान मॉडल ने वास्तव में क्या कहा यह पुनर्निर्मित करना असंभव हो जाता है। अब तक का एकमात्र प्रदर्शित समाधान 61 प्रतिशत थ्रूपुट की कीमत चुकाता है।
यह क्यों मायने रखता है
डिटर्मिनिस्टिक रीप्ले वह न्यूनतम मानक है जो एक मॉडल कॉल को ऑडिट योग्य कम्प्यूटेशन के रूप में मानने के लिए जरूरी है, न कि एक ब्लैक बॉक्स के रूप में जिस पर भरोसा तो किया जाता है पर जिसे जांचा नहीं जा सकता।
मैं अवसर को कैसे आंकता हूं
Opportunity Score मेरा अपना आकलन है, कोई माप नहीं: यह कितना तकलीफदेह है, कितनी बार परेशान करता है, और आज इसे हल करने के लिए कितना कम मौजूद है। जितना ज़्यादा स्कोर, उतना ज़्यादा मुझे लगता है कि इसे बनाना सार्थक है।
जब यह सामने आता है तो कितनी तकलीफ देता है।
लोग वास्तव में कितनी बार इससे टकराते हैं।
आज इसके लिए कितने कम अच्छे टूल मौजूद हैं।
और हल करने लायक समस्याएं
हर AI ऐप टैब बंद करते ही मुझे क्यों भूल जाता है?
AIकिसी नए क्षेत्र को सीखना अभी भी यह जानने पर निर्भर क्यों है कि क्या पूछना है?
AIकोई गैर-विशेषज्ञ यह क्यों नहीं जांच सकता कि AI ने उन्हें अभी क्या बताया?
AIहम मॉडलों को बेंचमार्क पर परखते हैं, लेकिन उन्हें महज़ अंदाज़े पर शिप क्यों करते हैं?
AIAI एजेंटों को अपनी गलतियों की याद क्यों नहीं रहती?
AIमैं यह ऑडिट क्यों नहीं कर सकता कि एक मॉडल को वास्तव में किस डेटा पर ट्रेन किया गया था?