随着大模型应用的普及，推理过程中的高计算资源消耗和 KVCache（键值缓存）的冗余存储成为关键瓶颈，导致推理成本高昂、吞吐量受限，尤其在长上下文场景中表现尤为突出。Mooncake 项目通过创新的以 KVCache 为中心的“PD 分离”架构（计算与存储解耦）和“以存换算”设计，将 KVCache 池化共享，结合高性能传输技术（如 eRDMA、GPUDirect）和分布式存储优化，实现跨实例的资源复用。

Mooncake 项目包括三大创新点：（1）Transfer Engine：支持全链路零拷贝、多网卡聚合（8×400Gbps），兼容 eRDMA/NVLink/CXL，动态拓扑感知。（2）KVCache Store：利用 GPU 闲置内存与 RPC 框架 coro_rpc，实现透明多级缓存，未来支持廉价存储下沉。（3）生态整合：与 vLLM/SGLang 等主流推理框架适配，TPOT 下降 20%，成本低至 0.2$/1M Token。在多轮对话，长文本阅读等场景中，推理吞吐量显著提升，响应时间降低 69.1%，并被阿里云、蚂蚁集团等企业实际部署。

演讲提纲：

1. 引言
   • 大模型推理的挑战：成本、吞吐与长上下文瓶颈
   • Mooncake 项目的产学研背景与开源意义
2. 核心技术解析
   • PD分离架构：计算与存储解耦的设计哲学
   • KVCache池化：共享机制与性能优化
   • Transfer Engine：eRDMA/GPUDirect 的高效传输实现
3. 行业实践与效果
   • 与vLLM/SGLang的适配案例
   • 企业级部署经验（阿里云、蚂蚁集团）
4. 未来展望
   • Mooncake Store v2：多实例共享KVCache
   • 生态扩展：LMDeploy、TensorRT-LLM等框架支持

听众收益：

• 了解如何通过 KVCache 池化与 PD 分离架构解决大模型推理的高成本问题，获得可复用的架构设计思路
• 学习 eRDMA/GPUDirect 等高性能传输技术在大模型场景的落地方法，提升分布式系统优化能力
• 掌握主流推理框架（如 vLLM）与 Mooncake 的适配策略，推进开源解决方案持续发展

基于大模型推理基本原理，结合 MoE 类模型特性，一念 LLM 设计了一套高效分布式推理优化方案。围绕流水线并行、显存管理、以及DP/TP/PP混合并行策略，实现了对推理过程的深度调优。在DeepSeek推理测试中，相较于业界主流开源推理框架，整体吞吐性能提升达 48%。

演讲提纲：

1. 大模型推理的挑战
   • 大模型推理的基本逻辑
   • 各个推理加速框架的设计思路对比
2. 大模型分布式推理的主要优化技术
   • DP/EP等并行技术与MoE模型的特点
3. 一念LLM的设计与优化
   • 一念LLM的设计思路和主要优化方向
   • 一念LLM针对DeepSeek特点进行的性能优化

听众收益：

• 了解大模型推理的基本逻辑以及各个推理加速框架的设计思路对比
• 了解一念LLM的设计思路，以及针对DeepSeek特点进行的性能优化

本次演讲将探讨如何在Google Cloud TPU上，以高性价比的方式部署开放的大语言模型和文生图模型。我们将基于TPU的发展历程及其硬件架构特性，深入剖析如 vLLM、JetStream、MaxDiffusion 等主流推理框架在TPU上的优化路径。

演讲将重点介绍围绕自动前缀缓存、分块预填充、连续批处理、分布式推理等关键技术手段，如何实现推理流程的深度调优，从而显著提升模型部署的吞吐效率与响应延迟。

演讲提纲：

1. TPU 简介与技术演进
2. 理解大模型推理的核心流程
   • 自回归模型的推理过程：Prefill 与 Decode 阶段解析
   • 关键挑战：如何突破延迟瓶颈与吞吐上限？
3. 推理框架优化实践：vLLM 与 JetStream 深度调优
   • vLLM on TPU：自动前缀缓存（APC）、分块预填充、连续批处理的落地
   • JetStream 与推测解码：提升效率的系统级创新
   • LLM-d 与 GKE：如何构建分布式推理服务体系
4. 性能指标解读与服务优化
   • 如何测量好推理服务？延迟、吞吐、KV Cache 使用率等指标剖析
   • 对比 GKE 推理网关 vs 传统负载均衡的实际效果
5. TPU 硬件特性赋能模型推理
   • SPMD 并行、SparseCore、Pod 架构下的推理效率优势
   • Ironwood 带来的最新计算能力与部署选项
6. 落地案例与部署总结
   • 文生图场景中延迟下降实践：客户案例分享
   • 部署路径总结：多种方案下的性价比对比与优化建议

听众收益：

• ​全面理解 TPU 架构与演进，掌握其适配开放大模型的核心优势
• 学会在 TPU 上部署大语言/图像模型的实战优化技巧
• 掌握推理过程中的关键指标分析方法，并通过 GKE 网关优化推理服务
• 借助真实案例理解如何兼顾推理性能与成本控制，实现性价比最大化