AI
동일한 인프라를 공유하는 백그라운드 에이전트가 왜 사용자 대면 에이전트를 굶기나요?
81
기회
여러 AI 에이전트가 동시에 실행될 때, 일부는 사용자 대면이고 일부는 백그라운드인데, 우선순위 없이 LLM 추론 용량, 컨텍스트 창, API 속도 제한을 놓고 경쟁합니다. 표준 인프라 스케줄러는 CPU와 메모리를 인식하지만 LLM 워크로드 의미론을 이해하지 못합니다. 즉, 어떤 요청이 실행 중인 도구 체인인지, 되돌릴 수 없는 부작용이 있는지, 안전하게 선점하고 재개할 수 있는지를 파악하지 못합니다. 그 결과, 통제 불능의 백그라운드 작업이 지연에 민감한 사용자 쿼리를 굶기게 되며, 현재 유일한 해결책은 배포별 수동 속도 제한 조정입니다. HiveMind 논문은 OS에서 영감을 받은 접근 방식을 제안하지만, 프로덕션 도입 사례가 없고 에이전트 프레임워크가 구축할 수 있는 표준 인터페이스도 없는 연구 프로토타입에 불과합니다.
왜 중요한가
에이전트를 인식하는 워크로드 스케줄러야말로 다중 테넌트 LLM 배포를 여타 다중 프로세스 시스템만큼 예측 가능하게 만드는 빠져 있는 인프라 계층입니다.
기회 평가 방식
기회 점수는 측정값이 아닌 제 주관적 평가입니다. 얼마나 불편한지, 얼마나 자주 발생하는지, 현재 해결책이 얼마나 부족한지를 반영합니다. 점수가 높을수록 만들 가치가 더 높다고 생각합니다.
심각도7/10
발생했을 때 얼마나 큰 불편을 초래하는지.
빈도8/10
실제로 얼마나 자주 접하게 되는지.
공백 영역9/10
현재 이를 해결할 만한 도구가 얼마나 부족한지.