多智能体应用具有执行依赖复杂、工具调用频繁和上下文交互密集等特点，大模型推理系统虽具备批处理与缓存复用能力，但仍面临关键任务资源竞争、工具等待期间显存闲置以及跨智能体缓存冗余等问题。本报告介绍面向上述问题开展的两项工作。TokenCake 通过感知智能体依赖与运行状态，结合动态显存分区、主动缓存卸载与预测式回迁，协同优化任务调度和缓存管理，减少关键路径阻塞与上下文重计算。

TokenDance 进一步面向轮次化协作中的共享上下文，结合集合式缓存复用、差分存储与融合恢复，减少跨智能体的重复计算和存储开销。实验表明，相关方法可显著降低多智能体应用的端到端时延，提升资源利用效率与有限显存下的并发服务能力。

演讲提纲

1. 应用背景：多智能体协作带来的推理系统挑战
   • 以协作式代码生成、深度研究和社会模拟为例，介绍任务分解、工具调用、结果汇聚与多轮交互等典型执行过程
   • 分析应用性能的主要影响因素：任务依赖决定可执行顺序，工具耗时影响资源空闲窗口，上下文增长增加计算与存储压力
   • 建立应用级性能视角：从单次模型调用速度，扩展到任务完成时间、轮次时延和满足服务目标的并发规模
2. 瓶颈分析：围绕KV Cache理解资源低效的根源
   • 时间维度：智能体等待外部工具时，缓存仍占用显存；直接丢弃又会增加后续重计算开销
   • 空间维度：多个智能体竞争显存，非关键任务可能挤占关键路径任务的缓存空间
   • 共享维度：多个智能体接收相同内容，但私有历史与内容位置不同，限制了常规前缀缓存的复用
   • 分析方法：结合执行时间线、依赖图与缓存生命周期，定位等待、抢占、重计算和重复存储的来源
3. TokenCake：智能体感知的调度与显存管理
   • 应用信息表达：将智能体依赖关系、工具调用事件与运行状态传递给推理系统
   • 空间调度：结合图结构与运行状态确定优先级，通过动态显存分区保障关键任务推进
   • 时间调度：利用工具调用窗口主动卸载闲置缓存，并通过预测式回迁降低恢复执行时的传输等待
   • 协同机制：分析任务优先级、显存压力与迁移成本之间的关系，说明调度与缓存管理如何共同影响端到端性能
4. TokenDance：轮次级缓存共享与差分存储
   • 协作模式：解析“各智能体生成结果—集中汇聚—分发共享上下文”的All-Gather交互过程
   • 集合式复用：保留提示词的逻辑块结构，对兼容请求成组处理，摊薄重复的缓存复用开销
   • 差分存储：通过共享主副本与智能体私有差分，减少相似缓存的重复保存
   • 融合恢复：将差分恢复融入缓存传输过程，降低额外的数据搬运开销
   • 适用边界：讨论共享上下文比例、请求兼容性与输出质量对优化收益的影响
5. 工程实践与案例评估
   • 接入路径：介绍应用编排层、推理调度器和缓存管理模块之间需要交换的信息，以及与现有推理引擎的集成思路
   • 案例分析：围绕代码生成与深度研究讨论关键路径优化，围绕GenerativeAgents和AgentSociety讨论多轮共享与并发扩展
   • 评估方法：同时观察端到端时延、尾延迟、缓存占用、迁移开销、并发容量和任务质量，避免单一指标掩盖系统代价
   • 工程取舍：讨论工具时延波动、缓存共享程度变化与负载增长时，如何选择策略、设置回退路径并验证收益
6. 方法论总结：从应用协作结构出发优化推理系统
   • 将依赖关系、工具等待和上下文共享转化为底层可利用的信息
   • 联合考虑任务调度、缓存生命周期与数据表示，识别不同优化之间的配合关系
   • 建立“工作负载分析—瓶颈定位—机制设计—端到端验证”的优化流程

听众收益

• 建立系统诊断能力： 理解多智能体应用中依赖阻塞、工具等待和缓存冗余的作用机制，能够判断性能问题应在哪一层解决
• 掌握架构优化思路： 理解关键路径调度、缓存卸载与回迁、跨智能体共享等机制的适用条件，为推理平台设计与技术选型提供依据
• 形成容量与成本评估方法： 学会结合时延目标、显存预算、并发规模与任务质量评估优化方案，支持上线前的容量规划和投入决策