Neden arka plan ajanım, aynı altyapıyı paylaşan kullanıcıya yönelik ajanı açlığa mahkum ediyor?
Fırsat
Birden fazla yapay zeka ajanı eş zamanlı olarak çalışırken, bir kısmı kullanıcıya yönelik ve bir kısmı arka planda olmak üzere, herhangi bir öncelik sıralaması olmaksızın LLM çıkarım kapasitesi, bağlam pencereleri ve API hız sınırları için rekabet ederler. Standart altyapı zamanlayıcıları CPU ve belleği dikkate alır; ancak LLM iş yükü anlambilimini kavrayamaz: hangi isteklerin uçuş ortasındaki araç zincirleri olduğunu, hangilerinin geri döndürülemez yan etkileri olduğunu ve hangilerinin güvenle kesintiye uğratılıp sürdürülebileceğini bilmezler. Sonuç olarak, başıbozuk bir arka plan görevi gecikmeye duyarlı bir kullanıcı sorgusunu açlığa mahkum eder ve bugün için tek çözüm, dağıtım başına manuel hız sınırı ayarlamasıdır. HiveMind makalesi, işletim sisteminden ilham alan bir yaklaşım önermektedir; ancak bu, üretimde benimsenmemiş ve ajan çerçevelerinin üzerine inşa edebileceği standart bir arayüzü bulunmayan bir araştırma prototipidir.
Neden önemli
Ajan farkındalığına sahip bir iş yükü zamanlayıcısı, çok kiracılı LLM dağıtımlarını diğer çok süreçli sistemler kadar öngörülebilir kılan eksik altyapı katmanıdır.
Fırsatı nasıl puanlıyorum
Fırsat Puanı benim kendi değerlendirmem, bir ölçüm değil: ne kadar acı verdiği, ne sıklıkla etkisi olduğu ve bugün için ne kadar az çözüm bulunduğu. Daha yüksek puan, inşa etmeye daha değer olduğunu düşündüğüm anlamına gelir.
Ortaya çıktığında ne kadar sorun yarattığı.
İnsanların bununla gerçekte ne sıklıkla karşılaştığı.
Bugün bunun için ne kadar az iyi araç bulunduğu.
Çözmeye değer daha fazla sorun
Neden her yapay zeka uygulaması sekmeyi kapattığım anda beni unutuyor?
AINeden yeni bir alanı öğrenmek hâlâ ne soracağını bilmekle sınırlı?
AIUzman olmayan biri, yapay zekanın söylediklerini neden doğrulayamıyor?
AIModelleri kıyaslamalarda test edip neden sezgiyle yayımlıyoruz?
AIYapay zeka ajanları neden kendi hatalarını hatırlamıyor?
AIBir modelin gerçekte neyle eğitildiğini neden denetleyemiyorum?