问题背景：

• Agent 应用将大模型推理带入多轮交互、工具调用与上下文持续增长的场景。请求之间的依赖、工具等待和跨轮缓存复用，共同改变了服务的性能瓶颈与资源需求。如何在模型响应时延约束下，提高每张加速卡可交付的服务能力，成为推理系统优化的核心问题

方案与方法论：

• 本分享以 Abench、M890P加速卡 与 ASpeed 为主线，介绍贯穿评测、执行和调度的优化方法：通过 Abench 回放真实 Agent 轨迹，保留会话轮次、上下文增长与工具等待，以服务等级目标（SLO）评估容量；在 PPU1.5 上结合低精度、MoE 算子和推测解码优化执行路径；在超节点中协同设计并行策略、计算通信重叠、KV Cache 复用及 Prefill/Decode 资源配比；最后结合 ASpeed，讨论请求路由、弹性扩缩容与多模型资源共享的协作机制

实施效果：

• 针对 DeepSeek-v4 系列模型，累计实现 7.4x 性能提升；并通过 ASpeed 集群弹性推理能力，进一步降低 71.9% 的硬件成本

演讲提纲

1. 用 Abench 建立 Agent 负载评测：
   • 多轮依赖、工具等待的 Trace 回放、SLO 容量搜索，以及首轮和后续轮次的时延分析
2. PPU1.5 上的执行优化与收益取舍：
   • FP8/MXFP4、MoE 执行路径与推测解码，如何共同影响吞吐、首 Token 时延和生成速度
3. 超节点中的并行、通信与缓存协同：
   • 结合上下文并行正反案例，讨论专家并行、计算通信重叠、KV 分层与 P/D 配比
4. ASpeed 如何组织集群服务能力：
   • 缓存感知路由、容量规划、多模型放置及会话恢复设计，以及面向真实负载的验证方法

听众收益

• 掌握一套面向 Agent 多轮业务的评测方法，明确会话并发、请求压力、缓存行为与 SLO 的关系
• 建立从算子、并行通信到集群调度的性能分析思路，判断低精度、推测解码和缓存复用的适用条件
• 获得可用于方案评审与上线验证的实践框架：固定负载和质量要求，逐项对照优化，统一统计时延、有效吞吐与资源成本

演讲亮点

• 从低精度到超节点的协同优化： 联合分析算子形状、专家分布、通信开销与 KV 容量，识别局部加速传递到端到端收益的条件
• 将推理状态纳入集群调度： 综合缓存位置、恢复成本、实例负载和模型唤醒时间，探索路由、弹性与资源放置的联合决策

以 AI Coding 长上下文场景为牵引，分析昇腾推理面临的四大核心挑战：算力利用率低、KV Cache 开销大、首 Token 延迟高以及多卡通信瓶颈，并围绕吞吐、时延、显存占用和 MFU 等关键指标展开系统性优化。

本次分享将沿着「研究 + 实践」两条主线展开：研究部分聚焦推理性能瓶颈分析与下一代算力演进；实践部分重点介绍基于 A3 平台的 Infra 调度优化，以及 TurboQuant 算子的工程落地，结合具体技术方案与实践收益，完整呈现从问题分析、技术优化到效果验证和未来展望的全过程。

演讲提纲

1. AI 推理性能现状与目标
   • AI Coding 长上下文场景最能放大访存、通信、显存瓶颈，长序列下 KV 随上下文线性膨胀。以模型量化（W4A8）和 KV Cache 量化为基础手段，目标是提吞吐、降 TTFT、压显存。
2. 昇腾推理 Infra 加速实践
   • 以昇腾 A3 为主力算力，落地 PD 分离、投机推理、动态批处理，并通过分级 KV 缓存与多卡并行调度，实现通信计算重叠。在并发与时延间找最优配比，给出 A3 实测数据
   • 在 精度不变的前提下，摸高场景取得收益：1M 长序列请求，并发数从 4 提升到 10，提升 2.5 倍
3. CANN 融合算子加速实践
   • 核心是 TurboQuant：基于 Hadamard 旋转域量化，实现权重近优量化与 KV 3~4bit 压缩。用 CANN/Ascend C 融合算子链，消除中间 buffer、减少 kernel 调度，算子随 CANN 商发、vLLM-Ascend 主版本落地
   • 在精度不变的前提下，业务场景取得收益：3P1D 架构下，TPOT 维持 30ms、TTFT 控制在 10s 以内，吞吐提升 3 倍 +
4. 下一代昇腾与异构算力思考
   • 结合昇腾 950 的应用进展，介绍其代际算力提升与适配。进一步探索异构算力池化、训推一体与近存互联，支撑复杂 Agent 和超大模型场景

听众收益：

• 理解 AI Coding 长上下文场景下，算力利用率、KV Cache、首 Token 延迟及多卡通信等核心瓶颈，了解 PD 分离、投机推理、动态批处理、分级 KV 缓存等 Infra 优化技术，以及它们在吞吐、时延和显存优化中的应用
• 理解低比特量化、KV Cache 压缩与融合算子的优化思路，掌握从算法设计、算子开发到推理框架集成的关键路径，并通过 A3 平台实测案例了解相关技术在长上下文场景中的性能收益

企业把大模型迁到私有化环境后，既要在异构算力上尽快完成可用部署，也要在上线后稳住服务质量与生成连续性，并随负载变化持续优化。围绕这条从 Day-0 到线上稳态的主线，本演讲将介绍：

1. 如何结合专家知识与调优能力给出面向不同硬件与工作负载的部署方案
2. 如何在网关侧用 TTFT、解码速率等信号做自适应限流，并在质量优先与吞吐优先之间取舍
3. 如何在服务崩溃或断连时于网关层续写，使客户端仍看到完整输出
4. 如何基于线上蓄水做周期自动调优。最后结合互联网与信创案例，在写清基线与 SLO 的前提下说明吞吐提升与峰值 TPM 的成立条件

演讲提纲

1. 背景与需求：企业大模型私有化部署的挑战
   • 驱动因素：数据安全、隐私保护、合规与数据主权，推动自建推理基础设施
   • 工程难点：部署复杂、GPU 成本高、异构硬件适配难，同时要兼顾高并发、低延迟与高可用
   • 核心目标：统一、易用、高性能且可持续优化的推理基础设施
2. ModelSphere 整体技术架构与定位
   • 定位：基于开源技术，将模型部署、资源调度、推理服务、性能优化与运维管理整合为完整方案
   • 核心特性：开箱即用、面向生产；统一支持多种异构加速器
   • Day-0 与持续演进：结合专家知识与调优能力，尽快给出可部署方案，并随负载持续优化
3. 质量感知的动态限流
   • 难点：静态 RPM/TPM 难以约束 TTFT、输出速率等体验指标
   • 方法：网关侧基于实时解码速率（TPS）的自适应并发控制（ACC）；EWMA 平滑采样；借鉴 TCP 拥塞控制的 MIMD（减快增慢）
   • 取舍：反馈周期、限流速率、质量目标阈值可配置；策略可倾向质量优先或吞吐优先
4. Day-0 部署与流式生成中断续写
   • Day-0 难点与方法：引擎参数空间巨大；结合领域专家知识与 tuning agent，经 model catalog 发布面向不同硬件与工作负载的部署方案
   • 续写难点：引擎迭代快，生成过程中崩溃、断连、EOF 或长时间停滞会导致答案不完整
   • 续写方法：网关层单请求有状态编排（不改引擎）；累积已输出、前缀拼接后续写；SGLang / vLLM 路径差异与适用边界
5. 真实负载驱动的自动调优
   • 难点：负载变化后，已部署优化方案可能不再适用
   • 方法：基于线上蓄水数据（蓄水周期可配置）；网格搜索、启发式、基于大模型的 tuning agent 三类策略
   • 节奏：按 workload 变化频率控制调优力度与资源分配（一般推荐周度）
6. 实际部署案例与小结
   • 案例一（互联网）：相对 SGLang Cookbook 基线吞吐提升 30%+；在 TTFT < 10s、OTPS > 20 的 SLO 下稳定提供峰值千万量级 TPM
   • 案例二（信创）：信创算力适配与深度优化后上线；结合自动扩缩容平衡异构资源效率与服务质量
   • 可带走：开源对照 ModelSphere（含续写网关 / AutoTune 组件）；对外数字须带基线、SLO 与峰值口径

听众收益

• 掌握企业大模型私有化部署与推理生产的技术思路：统一平台如何覆盖 Day-0 部署、异构适配、服务质量与持续优化
• 借鉴一线工程实践：质量感知限流、流式中断续写、线上蓄水自动调优的方法要点与适用边界
• 获得可对照的案例口径：在写清基线与 SLO 的前提下理解吞吐 / 峰值 TPM 表述，以及信创算力适配与扩缩容的实践参考

多智能体应用具有执行依赖复杂、工具调用频繁和上下文交互密集等特点，大模型推理系统虽具备批处理与缓存复用能力，但仍面临关键任务资源竞争、工具等待期间显存闲置以及跨智能体缓存冗余等问题。本报告介绍面向上述问题开展的两项工作。TokenCake 通过感知智能体依赖与运行状态，结合动态显存分区、主动缓存卸载与预测式回迁，协同优化任务调度和缓存管理，减少关键路径阻塞与上下文重计算。

TokenDance 进一步面向轮次化协作中的共享上下文，结合集合式缓存复用、差分存储与融合恢复，减少跨智能体的重复计算和存储开销。实验表明，相关方法可显著降低多智能体应用的端到端时延，提升资源利用效率与有限显存下的并发服务能力。

演讲提纲

1. 应用背景：多智能体协作带来的推理系统挑战
   • 以协作式代码生成、深度研究和社会模拟为例，介绍任务分解、工具调用、结果汇聚与多轮交互等典型执行过程
   • 分析应用性能的主要影响因素：任务依赖决定可执行顺序，工具耗时影响资源空闲窗口，上下文增长增加计算与存储压力
   • 建立应用级性能视角：从单次模型调用速度，扩展到任务完成时间、轮次时延和满足服务目标的并发规模
2. 瓶颈分析：围绕KV Cache理解资源低效的根源
   • 时间维度：智能体等待外部工具时，缓存仍占用显存；直接丢弃又会增加后续重计算开销
   • 空间维度：多个智能体竞争显存，非关键任务可能挤占关键路径任务的缓存空间
   • 共享维度：多个智能体接收相同内容，但私有历史与内容位置不同，限制了常规前缀缓存的复用
   • 分析方法：结合执行时间线、依赖图与缓存生命周期，定位等待、抢占、重计算和重复存储的来源
3. TokenCake：智能体感知的调度与显存管理
   • 应用信息表达：将智能体依赖关系、工具调用事件与运行状态传递给推理系统
   • 空间调度：结合图结构与运行状态确定优先级，通过动态显存分区保障关键任务推进
   • 时间调度：利用工具调用窗口主动卸载闲置缓存，并通过预测式回迁降低恢复执行时的传输等待
   • 协同机制：分析任务优先级、显存压力与迁移成本之间的关系，说明调度与缓存管理如何共同影响端到端性能
4. TokenDance：轮次级缓存共享与差分存储
   • 协作模式：解析“各智能体生成结果—集中汇聚—分发共享上下文”的All-Gather交互过程
   • 集合式复用：保留提示词的逻辑块结构，对兼容请求成组处理，摊薄重复的缓存复用开销
   • 差分存储：通过共享主副本与智能体私有差分，减少相似缓存的重复保存
   • 融合恢复：将差分恢复融入缓存传输过程，降低额外的数据搬运开销
   • 适用边界：讨论共享上下文比例、请求兼容性与输出质量对优化收益的影响
5. 工程实践与案例评估
   • 接入路径：介绍应用编排层、推理调度器和缓存管理模块之间需要交换的信息，以及与现有推理引擎的集成思路
   • 案例分析：围绕代码生成与深度研究讨论关键路径优化，围绕GenerativeAgents和AgentSociety讨论多轮共享与并发扩展
   • 评估方法：同时观察端到端时延、尾延迟、缓存占用、迁移开销、并发容量和任务质量，避免单一指标掩盖系统代价
   • 工程取舍：讨论工具时延波动、缓存共享程度变化与负载增长时，如何选择策略、设置回退路径并验证收益
6. 方法论总结：从应用协作结构出发优化推理系统
   • 将依赖关系、工具等待和上下文共享转化为底层可利用的信息
   • 联合考虑任务调度、缓存生命周期与数据表示，识别不同优化之间的配合关系
   • 建立“工作负载分析—瓶颈定位—机制设计—端到端验证”的优化流程

听众收益

• 建立系统诊断能力： 理解多智能体应用中依赖阻塞、工具等待和缓存冗余的作用机制，能够判断性能问题应在哪一层解决
• 掌握架构优化思路： 理解关键路径调度、缓存卸载与回迁、跨智能体共享等机制的适用条件，为推理平台设计与技术选型提供依据
• 形成容量与成本评估方法： 学会结合时延目标、显存预算、并发规模与任务质量评估优化方案，支持上线前的容量规划和投入决策

演讲亮点

• 以两项系统工作展示如何将多智能体协作特征转化为可量化的性能收益：TokenCake在论文的显存受限配置下，相比vLLM将端到端时延最多降低47.06%；TokenDance在所评估工作负载及相同服务时延约束下，将可支持的并发智能体数量提升至启用前缀缓存的vLLM的最高2.7倍。听众可以看到从瓶颈分析、机制设计到实验验证的完整过程