Mengapa agen latar belakang saya membuat agen yang menghadap pengguna kekurangan sumber daya padahal mereka berbagi infrastruktur yang sama?

Ketika beberapa agen AI berjalan secara bersamaan, sebagian menghadap pengguna dan sebagian berjalan di latar belakang, mereka bersaing memperebutkan kapasitas inferensi LLM, jendela konteks, dan batas laju API tanpa urutan prioritas. Penjadwal infrastruktur standar menyadari CPU dan memori tetapi tidak memahami semantik beban kerja LLM: permintaan mana yang sedang dalam rantai alat, mana yang memiliki efek samping yang tidak dapat dibalikkan, dan mana yang dapat dengan aman ditunda dan dilanjutkan. Hasilnya adalah pekerjaan latar belakang yang tak terkendali membuat kueri pengguna yang sensitif terhadap latensi kekurangan sumber daya, dan satu-satunya solusi saat ini adalah penyesuaian batas laju secara manual per penerapan. Makalah HiveMind mengusulkan pendekatan yang terinspirasi OS tetapi itu adalah prototipe penelitian tanpa adopsi produksi dan tanpa antarmuka standar untuk dibangun oleh kerangka kerja agen.