AI
同じインフラを共有しているのに、バックグラウンドエージェントがユーザー向けエージェントをスターベーションさせてしまうのはなぜですか？
81
機会
複数のAIエージェントが同時に実行される場合、ユーザー向けのものとバックグラウンドのものが混在し、優先順位なしにLLM推論キャパシティ、コンテキストウィンドウ、APIレート制限を競い合う。標準的なインフラスケジューラはCPUとメモリを認識するが、LLMワークロードのセマンティクスを理解しない。どのリクエストがツールチェーンの途中か、どれが不可逆的な副作用を持つか、どれを安全にプリエンプトして再開できるかを把握できないのだ。その結果、暴走したバックグラウンドジョブがレイテンシに敏感なユーザークエリをスターベーションさせ、現在の唯一の対処法はデプロイメントごとの手動レート制限調整となっている。HiveMind論文はOS的なアプローチを提案しているが、それは研究プロトタイプに過ぎず、本番環境での採用実績もなく、エージェントフレームワークが構築できる標準インターフェースも存在しない。
重要な理由
エージェントを認識するワークロードスケジューラこそが、マルチテナントLLMデプロイメントを他のマルチプロセスシステムと同様に予測可能にする、欠けているインフラ層だ。
機会をどう評価するか
Opportunity Scoreは測定値ではなく、私自身の見解です。どれほど痛みを伴うか、どれほど頻繁に影響を与えるか、そして今日時点で解決策がいかに少ないか。スコアが高いほど、構築する価値が高いと私は考えています。
深刻度7/10
それが現れたときにどれほどの痛みをもたらすか。
頻度8/10
実際にどれほど頻繁に人々がそれに直面するか。
ホワイトスペース9/10
今日時点で、それに対する優れたツールがいかに少ないか。