मेरा बैकग्राउंड एजेंट एक ही इंफ्रास्ट्रक्चर साझा करने वाले यूजर-फेसिंग एजेंट को क्यों भूखा मार देता है?
अवसर
जब कई AI एजेंट एक साथ चलते हैं, कुछ यूजर-फेसिंग और कुछ बैकग्राउंड में, तो वे बिना किसी प्राथमिकता क्रम के LLM इन्फरेंस क्षमता, कॉन्टेक्स्ट विंडो और API रेट लिमिट के लिए प्रतिस्पर्धा करते हैं। मानक इंफ्रास्ट्रक्चर शेड्यूलर CPU और मेमोरी-अवेयर होते हैं लेकिन LLM वर्कलोड सिमेंटिक्स को नहीं समझते: कौन से अनुरोध मध्य-उड़ान टूल चेन हैं, किनके अपरिवर्तनीय साइड इफेक्ट हैं, और कौन से सुरक्षित रूप से प्रीमेप्ट और फिर से शुरू किए जा सकते हैं। परिणाम यह होता है कि एक अनियंत्रित बैकग्राउंड जॉब एक लेटेंसी-सेंसिटिव यूजर क्वेरी को भूखा मार देती है और आज इसका एकमात्र समाधान प्रति-डिप्लॉयमेंट मैन्युअल रेट-लिमिट ट्यूनिंग है। HiveMind पेपर एक OS-प्रेरित दृष्टिकोण प्रस्तावित करता है लेकिन यह एक शोध प्रोटोटाइप है जिसे प्रोडक्शन में नहीं अपनाया गया है और एजेंट फ्रेमवर्क के लिए इसके विरुद्ध बनाने का कोई मानक इंटरफेस नहीं है।
यह क्यों मायने रखता है
एजेंट-अवेयर वर्कलोड शेड्यूलर वह लापता इंफ्रास्ट्रक्चर परत है जो मल्टी-टेनेंट LLM डिप्लॉयमेंट को किसी भी अन्य मल्टी-प्रोसेस सिस्टम की तरह अनुमानित बनाती है।
मैं अवसर को कैसे आंकता हूं
Opportunity Score मेरा अपना आकलन है, कोई माप नहीं: यह कितना तकलीफदेह है, कितनी बार परेशान करता है, और आज इसे हल करने के लिए कितना कम मौजूद है। जितना ज़्यादा स्कोर, उतना ज़्यादा मुझे लगता है कि इसे बनाना सार्थक है।
जब यह सामने आता है तो कितनी तकलीफ देता है।
लोग वास्तव में कितनी बार इससे टकराते हैं।
आज इसके लिए कितने कम अच्छे टूल मौजूद हैं।
और हल करने लायक समस्याएं
हर AI ऐप टैब बंद करते ही मुझे क्यों भूल जाता है?
AIकिसी नए क्षेत्र को सीखना अभी भी यह जानने पर निर्भर क्यों है कि क्या पूछना है?
AIकोई गैर-विशेषज्ञ यह क्यों नहीं जांच सकता कि AI ने उन्हें अभी क्या बताया?
AIहम मॉडलों को बेंचमार्क पर परखते हैं, लेकिन उन्हें महज़ अंदाज़े पर शिप क्यों करते हैं?
AIAI एजेंटों को अपनी गलतियों की याद क्यों नहीं रहती?
AIमैं यह ऑडिट क्यों नहीं कर सकता कि एक मॉडल को वास्तव में किस डेटा पर ट्रेन किया गया था?