Skip to content
AI

ทำไม background agent ของฉันถึงแย่งทรัพยากรจาก agent ที่ให้บริการผู้ใช้ซึ่งใช้โครงสร้างพื้นฐานเดียวกัน?

81

โอกาส

เมื่อ AI agent หลายตัวทำงานพร้อมกัน ทั้งแบบที่ผู้ใช้มองเห็นและแบบที่ทำงานเบื้องหลัง ต่างแย่งชิงกำลังประมวลผล LLM หน้าต่าง context และขีดจำกัด API โดยไม่มีการจัดลำดับความสำคัญ ตัวจัดตารางงานโครงสร้างพื้นฐานทั่วไปรู้จักแค่ CPU และหน่วยความจำ แต่ไม่เข้าใจความหมายของภาระงาน LLM ว่าคำขอไหนอยู่ระหว่าง tool chain ที่กำลังดำเนิน คำขอไหนมีผลข้างเคียงที่ย้อนกลับไม่ได้ และคำขอไหนสามารถหยุดพักแล้วทำต่อได้อย่างปลอดภัย ผลที่เกิดขึ้นคืองานเบื้องหลังที่วิ่งระเบิดไปทำให้คำถามของผู้ใช้ที่ต้องการความเร็วสูงขาดแคลนทรัพยากร และทางแก้เดียวในปัจจุบันคือการปรับขีดจำกัดอัตราด้วยมือทีละการติดตั้ง บทความ HiveMind เสนอแนวทางที่ได้แรงบันดาลใจจากระบบปฏิบัติการ แต่ยังเป็นเพียงต้นแบบวิจัยที่ยังไม่มีการนำไปใช้งานจริงและไม่มีอินเทอร์เฟซมาตรฐานให้ framework ของ agent นำไปพัฒนาต่อ

ทำไมถึงสำคัญ

ตัวจัดตารางภาระงานที่เข้าใจ agent คือชั้นโครงสร้างพื้นฐานที่หายไป ซึ่งจะทำให้การติดตั้ง LLM แบบ multi-tenant คาดเดาได้เหมือนกับระบบ multi-process อื่น ๆ

วิธีที่ผมให้คะแนนโอกาส

คะแนนโอกาสเป็นมุมมองส่วนตัวของผม ไม่ใช่การวัดผล โดยดูว่ามันเจ็บปวดแค่ไหน บ่อยแค่ไหนที่มันกัดกิน และมีทางแก้อยู่น้อยเพียงใดในปัจจุบัน คะแนนสูงกว่าหมายความว่าผมคิดว่าคุ้มค่าแก่การสร้างมากกว่า

ความรุนแรง7/10

ความเจ็บปวดที่มันก่อขึ้นเมื่อปรากฏตัว

ความถี่8/10

ความถี่ที่คนจริงๆ เจอมัน

ช่องว่าง9/10

ความขาดแคลนของเครื่องมือที่ดีสำหรับมันในปัจจุบัน

ปัญหาอื่นที่น่าแก้ไข