AI
为什么共享同一基础设施的后台智能体会让面向用户的智能体陷入资源饥饿？
81
机会
当多个AI智能体并发运行时，无论是面向用户的还是后台的，它们都在争夺LLM推理算力、上下文窗口和API速率限制，却没有任何优先级排序。标准基础设施调度器能感知CPU和内存，但无法理解LLM工作负载的语义：哪些请求正在执行工具链的中途、哪些具有不可逆的副作用、哪些可以安全地抢占和恢复。结果是，一个失控的后台任务会让对延迟敏感的用户查询陷入饥饿，而目前唯一的解决办法是针对每个部署进行手动速率限制调整。HiveMind论文提出了一种受操作系统启发的方法，但它只是一个研究原型，既未得到生产环境的采用，也没有供智能体框架构建的标准接口。
为什么重要
智能体感知的工作负载调度器是缺失的基础设施层，它能让多租户LLM部署像其他任何多进程系统一样可预测。
我如何评估机会
机会评分是我的个人判断，而非量化指标：痛苦程度、发生频率，以及当前解决方案的匮乏程度。分数越高，意味着我认为越值得去构建。
严重性7/10
出现时造成的痛苦程度。
频率8/10
人们实际遇到它的频率。
空白空间9/10
当前针对它的优质工具有多匮乏。