ทำไม background agent ของฉันถึงแย่งทรัพยากรจาก agent ที่ให้บริการผู้ใช้ซึ่งใช้โครงสร้างพื้นฐานเดียวกัน?
โอกาส
เมื่อ AI agent หลายตัวทำงานพร้อมกัน ทั้งแบบที่ผู้ใช้มองเห็นและแบบที่ทำงานเบื้องหลัง ต่างแย่งชิงกำลังประมวลผล LLM หน้าต่าง context และขีดจำกัด API โดยไม่มีการจัดลำดับความสำคัญ ตัวจัดตารางงานโครงสร้างพื้นฐานทั่วไปรู้จักแค่ CPU และหน่วยความจำ แต่ไม่เข้าใจความหมายของภาระงาน LLM ว่าคำขอไหนอยู่ระหว่าง tool chain ที่กำลังดำเนิน คำขอไหนมีผลข้างเคียงที่ย้อนกลับไม่ได้ และคำขอไหนสามารถหยุดพักแล้วทำต่อได้อย่างปลอดภัย ผลที่เกิดขึ้นคืองานเบื้องหลังที่วิ่งระเบิดไปทำให้คำถามของผู้ใช้ที่ต้องการความเร็วสูงขาดแคลนทรัพยากร และทางแก้เดียวในปัจจุบันคือการปรับขีดจำกัดอัตราด้วยมือทีละการติดตั้ง บทความ HiveMind เสนอแนวทางที่ได้แรงบันดาลใจจากระบบปฏิบัติการ แต่ยังเป็นเพียงต้นแบบวิจัยที่ยังไม่มีการนำไปใช้งานจริงและไม่มีอินเทอร์เฟซมาตรฐานให้ framework ของ agent นำไปพัฒนาต่อ
ทำไมถึงสำคัญ
ตัวจัดตารางภาระงานที่เข้าใจ agent คือชั้นโครงสร้างพื้นฐานที่หายไป ซึ่งจะทำให้การติดตั้ง LLM แบบ multi-tenant คาดเดาได้เหมือนกับระบบ multi-process อื่น ๆ
วิธีที่ผมให้คะแนนโอกาส
คะแนนโอกาสเป็นมุมมองส่วนตัวของผม ไม่ใช่การวัดผล โดยดูว่ามันเจ็บปวดแค่ไหน บ่อยแค่ไหนที่มันกัดกิน และมีทางแก้อยู่น้อยเพียงใดในปัจจุบัน คะแนนสูงกว่าหมายความว่าผมคิดว่าคุ้มค่าแก่การสร้างมากกว่า
ความเจ็บปวดที่มันก่อขึ้นเมื่อปรากฏตัว
ความถี่ที่คนจริงๆ เจอมัน
ความขาดแคลนของเครื่องมือที่ดีสำหรับมันในปัจจุบัน
ปัญหาอื่นที่น่าแก้ไข
ทำไมแอป AI ทุกตัวถึงลืมฉันทันทีที่ฉันปิดแท็บ
AIทำไมการเรียนรู้สาขาใหม่ยังต้องผ่านด่านของการรู้ว่าจะถามอะไร
AIทำไมคนที่ไม่ใช่ผู้เชี่ยวชาญถึงไม่สามารถตรวจสอบสิ่งที่ AI บอกพวกเขาได้
AIทำไมเราถึงทดสอบโมเดลด้วย benchmark แต่ส่งมันออกไปบนความรู้สึก?
AIทำไม AI agent ถึงไม่มีความทรงจำเกี่ยวกับความผิดพลาดของตัวเอง?
AIทำไมฉันถึงตรวจสอบไม่ได้ว่าโมเดลถูกเทรนด้วยข้อมูลอะไรกันแน่?