Tại sao agent chạy nền của tôi lại làm đói agent hướng người dùng đang dùng chung cùng cơ sở hạ tầng?

Khi nhiều AI agent chạy đồng thời, một số hướng người dùng và một số chạy nền, chúng cạnh tranh năng lực suy luận LLM, cửa sổ ngữ cảnh và giới hạn tốc độ API mà không có thứ tự ưu tiên. Các bộ lập lịch cơ sở hạ tầng tiêu chuẩn nhận biết CPU và bộ nhớ nhưng không hiểu ngữ nghĩa khối lượng công việc LLM: yêu cầu nào đang trong chuỗi công cụ giữa chừng, yêu cầu nào có tác dụng phụ không thể đảo ngược, và yêu cầu nào có thể bị chiếm quyền và tiếp tục một cách an toàn. Kết quả là một công việc nền mất kiểm soát làm đói truy vấn người dùng nhạy cảm với độ trễ và giải pháp duy nhất hiện nay là điều chỉnh giới hạn tốc độ thủ công cho mỗi lần triển khai. Bài báo HiveMind đề xuất cách tiếp cận lấy cảm hứng từ hệ điều hành nhưng đây là nguyên mẫu nghiên cứu chưa được áp dụng trong sản xuất và không có giao diện tiêu chuẩn để các framework agent xây dựng dựa trên.