मुझे कैसे पता चलेगा कि मेरा एजेंट संस्करणों के बीच बेहतर हुआ है और बस किस्मत से नहीं बचा?
अवसर
जब एक एजेंट घंटों में सैकड़ों क्रमिक कदम उठाता है, तो पारंपरिक A/B मूल्यांकन विफल हो जाता है क्योंकि एक शुरुआती टूल कॉल हर बाद के विकल्प को आकार देती है, जिससे परिणाम रन के पार पथ-निर्भर हो जाते हैं। विश्वसनीय संकेत पाने के लिए पर्याप्त स्वतंत्र परीक्षण चलाने में उतना ही कंप्यूट लगता है जितना प्रशिक्षण में। यह क्षेत्र स्टेप सक्सेस रेट और टूल कॉल सटीकता जैसे प्रॉक्सी मेट्रिक्स पर निर्भर हो जाता है जो वास्तविक काम पर एंड-टास्क परिणामों के साथ स्पष्ट रूप से सहसंबंधित नहीं होते। 445 प्रकाशित LLM बेंचमार्क के 2025 ऑडिट में बड़े पैमाने पर कंस्ट्रक्ट-वैलिडिटी विफलताओं का दस्तावेज़ीकरण किया गया: अस्पष्ट कार्य परिभाषाएं, पुनर्उपयोग किए गए लघु-क्षितिज डेटासेट और गायब सांख्यिकीय परीक्षण, जो सभी कार्य क्षितिज बढ़ने के साथ और गंभीर होते जाते हैं। एजेंटिक उत्पाद बनाने वाली टीमें मैन्युअल स्पॉट-चेक पर शिप करती हैं क्योंकि लंबे-क्षितिज एजेंटों के लिए कोई सैद्धांतिक, पुनरुत्पादनीय मूल्यांकन पद्धति मौजूद नहीं है।
यह क्यों मायने रखता है
किसी एजेंट के बेहतर होने को मापने के किसी विश्वसनीय तरीके के बिना, आप उन एजेंटों में व्यवस्थित रूप से सुधार नहीं कर सकते जो पहले से ही उच्च-दांव वाले कार्यों में तैनात हैं।
मैं अवसर को कैसे आंकता हूं
Opportunity Score मेरा अपना आकलन है, कोई माप नहीं: यह कितना तकलीफदेह है, कितनी बार परेशान करता है, और आज इसे हल करने के लिए कितना कम मौजूद है। जितना ज़्यादा स्कोर, उतना ज़्यादा मुझे लगता है कि इसे बनाना सार्थक है।
जब यह सामने आता है तो कितनी तकलीफ देता है।
लोग वास्तव में कितनी बार इससे टकराते हैं।
आज इसके लिए कितने कम अच्छे टूल मौजूद हैं।
और हल करने लायक समस्याएं
हर AI ऐप टैब बंद करते ही मुझे क्यों भूल जाता है?
AIकिसी नए क्षेत्र को सीखना अभी भी यह जानने पर निर्भर क्यों है कि क्या पूछना है?
AIकोई गैर-विशेषज्ञ यह क्यों नहीं जांच सकता कि AI ने उन्हें अभी क्या बताया?
AIहम मॉडलों को बेंचमार्क पर परखते हैं, लेकिन उन्हें महज़ अंदाज़े पर शिप क्यों करते हैं?
AIAI एजेंटों को अपनी गलतियों की याद क्यों नहीं रहती?
AIमैं यह ऑडिट क्यों नहीं कर सकता कि एक मॉडल को वास्तव में किस डेटा पर ट्रेन किया गया था?