专题演讲嘉宾：杨培军

随着DeepSeek的爆火，其卓越的性能和成本引起了科技界的广泛关注，同时经过一两年的技术发展，LLM推理加速与部署进入深水区。LLM模型在京东零售内部有大量面向C端用户、B端商家和广告主系统等的落地应用，业务场景提出了较高的SLO要求和成本压力，如何兼顾高吞吐与低时延是迫切要解决的问题。本次演讲将展开介绍这其中面临的技术挑战和核心技术要点，分享可落地的优化实践经验。
 

演讲提纲

1. 京东零售大模型应用场景
2. 大模型推理服务落地面临的技术挑战
3. 推理服务核心优化技术
   • 技术架构与核心功能
   • 请求/实例全局调度
   • 全异步化运行与多层流水线
   • 算子高效执行与显存管理
4. 未来优化方向展望

您认为，这样的技术在实践过程中有哪些痛点？

• 要求开发者对CPU/GPU/NPU高性能编程，以及LLM/LVM模型有深刻理解和技术掌握。

您的演讲有哪些前沿亮点？

• LLM推理仍面临较大的成本压力，结合用户体验SLO要求，如何兼顾高吞吐与低时延目前前沿且迫切要解决的技术难点。

听众收益

• 了解LLM推理在工业界落地的前沿进展、业务落地技术挑战，以及技术解决方案。