TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving

TAO 联合评估工具返回就绪性、时间衰减的 KV-cache 信用和 token 占用，然后使用动态规划在 GPU 节点上选择并放置等待中的 agent 会话。

Agentic 服务在集群化 GPU 推理和分布式 CPU 工具之间交替，因此会话的 GPU 需求会被工具调用打断。现有系统在评估会话时忽略工具调用延迟，并使用启发式准入和放置。这会浪费有限资源，并产生短视或次优的调度决策。

TAO 遵循先评估后决策的框架。每个会话–节点对获得一个字典序值三元组：衰减的 KV-cache 信用、二元工具返回就绪性和 token 计数。缓存信用按 10 秒半衰期指数折扣。就绪性使用观测到的完成情况、时序提示、解析出的 sleep 命令和历史工具时长，回退到五秒默认值并使用一秒时间范围。容量状态动态规划在剩余容量约束下联合选择并放置会话；对于冻结、离散化的问题它是精确的，异步运行，并在应用前重新验证。

• 在报告的 12 个模型–工作负载–并发设置中，相对于每个指标的最佳评估基线，TAO 将延迟最多降低 26.8%，将平均 TTFT 最多降低 36.3%，并将解码吞吐量最多提高 29.5%。 §Abstract
• 在 64 个 worker 的 DeepSeek-V4 Flash SWE-Lite 上，TAO 报告 185.410 s 延迟、0.224 s TTFT 和 2021.523 tok/s 解码。 §4
• 完整 TAO 达到 1417.97 tok/s 解码；移除缓存信用将其降至 1398.35 tok/s，移除就绪性降至 1363.06 tok/s，用 BFD 替换 DP 恢复得到 1233.72 tok/s。 §4.4
• 在 4–8 个 worker 时，TAO 的平均任务延迟保持在最佳基线的 2.3% 以内，保留最佳基线解码吞吐量的 92% 以上，其平均 TTFT 比最佳基线高 15–20 ms。 §E.1
• 在一个重建快照中，DP 保留 16,791 个缓存信用 token，而 short-first 放置保留 13,624 个，增加了 23.2%。 §H
• 在 160 个 worker 时，完成分配求解平均耗时 1.59 ms，P95 为 3.68 ms；测得的调度器工作占运行的 0.112%，在四个副本时低于 0.12%。 §I

• 联合 DP 对于冻结、离散化的问题是精确的；论文指出，舍入可能排除离散化之前可行的方案。
• 历史工具时长估计器中的有限样本裕量是一种调度启发式，并且如附录 A 所述，不为单次调用提供校准覆盖。
• 调度器开销核算覆盖状态准备和已完成的求解；耗尽的搜索和回退执行未计时，因此如附录 I 所述，每次运行的工作量是部分核算，而不是 CPU 利用率或请求延迟开销的度量。
• 在 TokenCake 组合中，论文指出，将结果归因于 DP 选择或重叠 offload 需要激活这些机制的运行；证据确立了在这些负载下的生命周期和服务兼容性。

• 论文将 CGDC 定义为用于共享推理容量的集群化 GPU 和用于外部工具调用的分布式 CPU，这些工具调用会在 LLM 请求之间造成延迟。 §1
• 会话中断可在工具执行期间释放 GPU 资源，被中断的会话会与新到达者一起加入等待池，以进行重启调度。 §2.2
• TAO 为每个会话–节点对分配字典序值 v=(k,r,t)，并在资格和容量约束下最大化聚合值。 §3.2
• 缓存信用按 k_i,b(t)=k0 2^{-tau/h} 衰减，其中 h=10 秒，所得信用为估值而取整。 §3.3
• 就绪性使用 H=1 秒和在 30 秒内刷新的有效预测时间戳；回退时长为五秒。 §3.4
• DP 使用容量量子和 O(nm) 预处理来进行节点特定的缓存观测；缓存等价的节点可分组为 g≤m 个聚合容量维度。 §3.5
• 实验在 2 个节点上使用 DeepSeek-V4 Flash，每节点 4× H100；并在 4 个节点上使用 Qwen3-32B，每节点 2× H100。 §4.1
• 启用 TokenCake 后，TAO 完成 300 任务的 SWE-Lite 运行，并在 16 和 32 个 worker 时将解码吞吐量从 785.159 提高到 886.772 tok/s，以及从 1292.584 提高到 1347.373 tok/s。 §E.2