问题背景：

• Agent 应用将大模型推理带入多轮交互、工具调用与上下文持续增长的场景。请求之间的依赖、工具等待和跨轮缓存复用，共同改变了服务的性能瓶颈与资源需求。如何在模型响应时延约束下，提高每张加速卡可交付的服务能力，成为推理系统优化的核心问题

方案与方法论：

• 本分享以 Abench、M890P加速卡 与 ASpeed 为主线，介绍贯穿评测、执行和调度的优化方法：通过 Abench 回放真实 Agent 轨迹，保留会话轮次、上下文增长与工具等待，以服务等级目标（SLO）评估容量；在 PPU1.5 上结合低精度、MoE 算子和推测解码优化执行路径；在超节点中协同设计并行策略、计算通信重叠、KV Cache 复用及 Prefill/Decode 资源配比；最后结合 ASpeed，讨论请求路由、弹性扩缩容与多模型资源共享的协作机制

实施效果：

• 针对 DeepSeek-v4 系列模型，累计实现 7.4x 性能提升；并通过 ASpeed 集群弹性推理能力，进一步降低 71.9% 的硬件成本

演讲提纲

1. 用 Abench 建立 Agent 负载评测：
   • 多轮依赖、工具等待的 Trace 回放、SLO 容量搜索，以及首轮和后续轮次的时延分析
2. PPU1.5 上的执行优化与收益取舍：
   • FP8/MXFP4、MoE 执行路径与推测解码，如何共同影响吞吐、首 Token 时延和生成速度
3. 超节点中的并行、通信与缓存协同：
   • 结合上下文并行正反案例，讨论专家并行、计算通信重叠、KV 分层与 P/D 配比
4. ASpeed 如何组织集群服务能力：
   • 缓存感知路由、容量规划、多模型放置及会话恢复设计，以及面向真实负载的验证方法

听众收益

• 掌握一套面向 Agent 多轮业务的评测方法，明确会话并发、请求压力、缓存行为与 SLO 的关系
• 建立从算子、并行通信到集群调度的性能分析思路，判断低精度、推测解码和缓存复用的适用条件
• 获得可用于方案评审与上线验证的实践框架：固定负载和质量要求，逐项对照优化，统一统计时延、有效吞吐与资源成本

演讲亮点

• 从低精度到超节点的协同优化： 联合分析算子形状、专家分布、通信开销与 KV 容量，识别局部加速传递到端到端收益的条件
• 将推理状态纳入集群调度： 综合缓存位置、恢复成本、实例负载和模型唤醒时间，探索路由、弹性与资源放置的联合决策