问题背景：

• Agent 应用将大模型推理带入多轮交互、工具调用与上下文持续增长的场景。请求之间的依赖、工具等待和跨轮缓存复用，共同改变了服务的性能瓶颈与资源需求。如何在模型响应时延约束下，提高每张加速卡可交付的服务能力，成为推理系统优化的核心问题。

方案与方法论：

• 本分享以 Abench、M890P加速卡 与 ASpeed 为主线，介绍贯穿评测、执行和调度的优化方法：通过 Abench 回放真实 Agent 轨迹，保留会话轮次、上下文增长与工具等待，以服务等级目标（SLO）评估容量；在 PPU1.5 上结合低精度、MoE 算子和推测解码优化执行路径；在超节点中协同设计并行策略、计算通信重叠、KV Cache 复用及 Prefill/Decode 资源配比；最后结合 ASpeed，讨论请求路由、弹性扩缩容与多模型资源共享的协作机制。

实施效果：

• 针对 DeepSeek-v4 系列模型，累计实现 7.4x 性能提升；并通过 ASpeed 集群弹性推理能力，进一步降低 71.9% 的硬件成本。

演讲提纲

• 用 Abench 建立 Agent 负载评测：

多轮依赖、工具等待的 Trace 回放、SLO 容量搜索，以及首轮和后续轮次的时延分析。

• PPU1.5 上的执行优化与收益取舍：

FP8/MXFP4、MoE 执行路径与推测解码，如何共同影响吞吐、首 Token 时延和生成速度。

• 超节点中的并行、通信与缓存协同：

结合上下文并行正反案例，讨论专家并行、计算通信重叠、KV 分层与 P/D 配比。

• ASpeed 如何组织集群服务能力：

缓存感知路由、容量规划、多模型放置及会话恢复设计，以及面向真实负载的验证方法。

听众收益

• 掌握一套面向 Agent 多轮业务的评测方法，明确会话并发、请求压力、缓存行为与 SLO 的关系。

• 建立从算子、并行通信到集群调度的性能分析思路，判断低精度、推测解码和缓存复用的适用条件。

• 获得可用于方案评审与上线验证的实践框架：固定负载和质量要求，逐项对照优化，统一统计时延、有效吞吐与资源成本。

多智能体应用具有执行依赖复杂、工具调用频繁和上下文交互密集等特点，大模型推理系统虽具备批处理与缓存复用能力，但仍面临关键任务资源竞争、工具等待期间显存闲置以及跨智能体缓存冗余等问题。本报告介绍面向上述问题开展的两项工作。TokenCake 通过感知智能体依赖与运行状态，结合动态显存分区、主动缓存卸载与预测式回迁，协同优化任务调度和缓存管理，减少关键路径阻塞与上下文重计算。

TokenDance 进一步面向轮次化协作中的共享上下文，结合集合式缓存复用、差分存储与融合恢复，减少跨智能体的重复计算和存储开销。实验表明，相关方法可显著降低多智能体应用的端到端时延，提升资源利用效率与有限显存下的并发服务能力。

演讲提纲

1. 应用背景：多智能体协作带来的推理系统挑战
   • 以协作式代码生成、深度研究和社会模拟为例，介绍任务分解、工具调用、结果汇聚与多轮交互等典型执行过程
   • 分析应用性能的主要影响因素：任务依赖决定可执行顺序，工具耗时影响资源空闲窗口，上下文增长增加计算与存储压力
   • 建立应用级性能视角：从单次模型调用速度，扩展到任务完成时间、轮次时延和满足服务目标的并发规模
2. 瓶颈分析：围绕KV Cache理解资源低效的根源
   • 时间维度：智能体等待外部工具时，缓存仍占用显存；直接丢弃又会增加后续重计算开销
   • 空间维度：多个智能体竞争显存，非关键任务可能挤占关键路径任务的缓存空间
   • 共享维度：多个智能体接收相同内容，但私有历史与内容位置不同，限制了常规前缀缓存的复用
   • 分析方法：结合执行时间线、依赖图与缓存生命周期，定位等待、抢占、重计算和重复存储的来源
3. TokenCake：智能体感知的调度与显存管理
   • 应用信息表达：将智能体依赖关系、工具调用事件与运行状态传递给推理系统
   • 空间调度：结合图结构与运行状态确定优先级，通过动态显存分区保障关键任务推进
   • 时间调度：利用工具调用窗口主动卸载闲置缓存，并通过预测式回迁降低恢复执行时的传输等待
   • 协同机制：分析任务优先级、显存压力与迁移成本之间的关系，说明调度与缓存管理如何共同影响端到端性能
4. TokenDance：轮次级缓存共享与差分存储
   • 协作模式：解析“各智能体生成结果—集中汇聚—分发共享上下文”的All-Gather交互过程
   • 集合式复用：保留提示词的逻辑块结构，对兼容请求成组处理，摊薄重复的缓存复用开销
   • 差分存储：通过共享主副本与智能体私有差分，减少相似缓存的重复保存
   • 融合恢复：将差分恢复融入缓存传输过程，降低额外的数据搬运开销
   • 适用边界：讨论共享上下文比例、请求兼容性与输出质量对优化收益的影响
5. 工程实践与案例评估
   • 接入路径：介绍应用编排层、推理调度器和缓存管理模块之间需要交换的信息，以及与现有推理引擎的集成思路
   • 案例分析：围绕代码生成与深度研究讨论关键路径优化，围绕GenerativeAgents和AgentSociety讨论多轮共享与并发扩展
   • 评估方法：同时观察端到端时延、尾延迟、缓存占用、迁移开销、并发容量和任务质量，避免单一指标掩盖系统代价
   • 工程取舍：讨论工具时延波动、缓存共享程度变化与负载增长时，如何选择策略、设置回退路径并验证收益
6. 方法论总结：从应用协作结构出发优化推理系统
   • 将依赖关系、工具等待和上下文共享转化为底层可利用的信息
   • 联合考虑任务调度、缓存生命周期与数据表示，识别不同优化之间的配合关系
   • 建立“工作负载分析—瓶颈定位—机制设计—端到端验证”的优化流程

听众收益

• 建立系统诊断能力： 理解多智能体应用中依赖阻塞、工具等待和缓存冗余的作用机制，能够判断性能问题应在哪一层解决
• 掌握架构优化思路： 理解关键路径调度、缓存卸载与回迁、跨智能体共享等机制的适用条件，为推理平台设计与技术选型提供依据
• 形成容量与成本评估方法： 学会结合时延目标、显存预算、并发规模与任务质量评估优化方案，支持上线前的容量规划和投入决策