专题演讲嘉宾：袁镱

基于大模型推理基本原理，结合 MoE 类模型特性，一念 LLM 设计了一套高效分布式推理优化方案。围绕流水线并行、显存管理、以及DP/TP/PP混合并行策略，实现了对推理过程的深度调优。在DeepSeek推理测试中，相较于业界主流开源推理框架，整体吞吐性能提升达 48%。

演讲提纲：

1. 大模型推理的挑战
   • 大模型推理的基本逻辑
   • 各个推理加速框架的设计思路对比
2. 大模型分布式推理的主要优化技术
   • DP/EP等并行技术与MoE模型的特点
3. 一念LLM的设计与优化
   • 一念LLM的设计思路和主要优化方向
   • 一念LLM针对DeepSeek特点进行的性能优化

听众收益：

• 了解大模型推理的基本逻辑以及各个推理加速框架的设计思路对比
• 了解一念LLM的设计思路，以及针对DeepSeek特点进行的性能优化