尹良升，就读于上海交通大学 ACM 班，即将前往加州大学伯克利分校 Sky Computing 攻读计算机博士学位。
作为最早期的几位核心开发者之一，深度参与了 SGLang 的研发和优化。SGLang 作为开源社区中备受关注的推理引擎，截至 2025 年 3 月，已在 GitHub 上获得 11K+ Stars，月均下载量超过 10 万。SGLang 也被多个行业巨头采用，包括 xAI（用于部署 Grok 3）、Microsoft Azure（运行 DeepSeek R1）、NVIDIA 和 AMD（深度集成）以及 LinkedIn、美团等企业的生产环境。在 DeepSeek R1 发布时，SGLang 便成为其官方推荐的推理引擎之一。
开源大语言模型快速发展，如 Deepseek V3 和 R1，展现了卓越的性能表现，同时其高效的部署方案大幅降低了推理成本。该方案整合了多项前沿技术，包括大规模专家并行、注意力并行、推测解码、Prefill 与 Decode 的分离部署，以及高效的 KV 缓存落盘实现。这些技术的结合，构成了当前最先进、最高效的大语言模型推理体系。
作为主流开源推理框架之一，SGLang 已深度集成这些技术。本次演讲将深入解析这些关键技术，并探讨其在实际应用中的优化与落地，同时结合最新版本展示如何以极低的成本部署 Deepseek V3/R1 等开源大语言模型。
演讲提纲：
PD 分离技术的高效实现
大规模专家并行、注意力并行等多种并行方案的兼容和高效部署
多级 KV Cache 的缓存设计
高效的 Eagle 推测解码、引用推测解码和基于语法的结构解码设计
SGLang 社区生态与发展
您认为，这样的技术在实践过程中有哪些痛点？
高质量的开发人员人手不足
技术兼容性问题
您的演讲有哪些前沿亮点？
被多个行业巨头采用的推理引擎背后，多项核心技术深度解析
听众收益：
学习前沿大模型推理技术的开源实现
学习开源社区的开发经验和管理方案
京公网安备 11010502039052号 | 产品资质
微信咨询
电话咨询
微信联系我们