چرا عامل پس‌زمینه‌ام باعث قحطی منابع برای عامل رو به کاربر می‌شود که از همان زیرساخت استفاده می‌کند؟
فرصت
وقتی چندین عامل هوش مصنوعی به‌طور همزمان اجرا می‌شوند، برخی رو به کاربر و برخی در پس‌زمینه، همه برای ظرفیت استنتاج LLM، پنجره‌های زمینه و محدودیت‌های نرخ API رقابت می‌کنند، بدون هیچ‌گونه اولویت‌بندی. زمان‌بندهای استاندارد زیرساخت از CPU و حافظه آگاه‌اند اما معناشناسی بار کاری LLM را درک نمی‌کنند: کدام درخواست‌ها در میانه زنجیره ابزار هستند، کدام اثرات جانبی غیرقابل بازگشت دارند و کدام را می‌توان به‌طور ایمن متوقف و از سر گرفت. نتیجه این است که یک کار پس‌زمینه سرکش، پرس‌وجوی کاربری حساس به تأخیر را از منابع محروم می‌کند و تنها راه‌حل امروز، تنظیم دستی محدودیت نرخ به ازای هر پیاده‌سازی است. مقاله HiveMind رویکردی الهام‌گرفته از سیستم‌عامل پیشنهاد می‌دهد اما یک نمونه اولیه پژوهشی است که هیچ پذیرش تولیدی و هیچ رابط استانداردی برای ساخت چارچوب‌های عامل ندارد.
چرا اهمیت دارد
یک زمان‌بند بار کاری آگاه از عامل، لایه زیرساختی گمشده‌ای است که پیاده‌سازی‌های LLM چندمستأجره را به همان اندازه هر سیستم چندفرایندی دیگری قابل پیش‌بینی می‌کند.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟