Mooncake 构建了一个以 KVCache 为核心的云上推理软件栈（AI Stack），通过 Transfer Engine、KVCache Store 与分层上下文缓存等组件，将 Prefill/Decode（PD）分离、异构并行与零拷贝传输（RDMA/GPUDirect）有机结合，显著提升 GPU 利用率与吞吐并降低延迟和内存占用。

该栈在工程化层面与主流推理框架（如 SGLang、vLLM、RTP）深度集成，并且和 Router，Gatway，K8S Deployment 等组件一起组成了推理软件栈。从而支持 Docker 一键部署，KVCache 存储服务化，与网卡 /GPU 虚拟化等等。已在真实业务中实现 QPS 提升超 3 倍、GPU 利用率由不足 40% 提升到约 75%、内存占用下降约 40% 并将延迟减半。

为解决 PD 分离在云原生环境中的部署与运维难题，RoleBasedGroup（RBG）提供基于“角色”的声明式编排、顺序启动、精细扩缩容和智能滚动升级能力，使复杂多角色集群能实现无感变更与快速恢复。配合 AIGW 的全局、缓存感知与多因子路由调度，系统可实现请求级的缓存亲和、过载保护与多租户 SLO 保障，从而在大规模生产环境中将 PD 分离的性能优势持续、稳定地转化为可运维的产能与成本节约。本次演讲将分享这些技术内容的落地实践。

演讲提纲：

1. 推理系统当前问题：大模型推理的成本、吞吐与长上下文管理难题；PD（Prefill/Decode）分离带来的资源特性差异
   • 核心：以共享 KVCache 为中心，实现上下文复用与内存池化，避免重复计算并提升资源利用率
2. Mooncake 核心组件与技术亮点：全链路零拷贝、Multi‑NIC 池化、拓扑感知与容错；支持 eRDMA/GPUDirect
   • KVCache Store：透明多级缓存、P2P Store、coro_rpc 控制路径优化与上下文指纹索引
   • 分层上下文缓存与自适应批处理，支持 EP/DP/TP/PD 混合并行。与 SGLang、vLLM、LMCache 等框架兼容，提供 whl/docker 部署路径，便于云上规模化落地
3. LLM 推理软件栈工程化效能与集成方式：通过 RBG（编排）与 AIGW（调度）协同，来实现生产化保障，提供一键部署的 LLM 推理软件栈
   • RBG（Role‑based Pod Group）提供声明式角色模板、DAG 启动顺序、按角色精细扩缩容、智能滚动升级与分级故障恢复。
   • AIGW 提供缓存感知全局路由、过载保护与多租户 QoS（基于 Envoy 扩展），实现请求级 KVCache 亲和与 SLO 驱动调度
4. 生态、落地路径与演进方向

听众收益：

1. 快速掌握以 KVCache 为核心的 PD 分离架构与 Mooncake（Transfer Engine + KVCache Store），理解 RDMA/GPUDirect 零拷贝带来的实测收益
2. 学习用 RBG 的声明式编排、DAG 启动、精细扩缩容与零中断升级，配合 AIGW 的缓存感知路由、过载保护与多租户 QoS，把性能稳定转化为生产力