在大模型加速部署进入深水区的今天，如何在国产算力平台上高效运行大模型，已成为影响应用落地的重要一环。本次分享将介绍昇腾 DeepSeek 大模型推理架构，性能优化方案及关键优化措施，以及优化建议。

演讲提纲

1. 背景缘由
   • 大模型推理的计算挑战：参数规模持续增长带来的推理延迟、资源瓶颈问题
   • 国产算力平台的适配需求与技术突破窗口
   • DeepSeek 模型场景需求与推理优化目标设定
2. 昇腾推理解决思路
   • 昇腾芯片架构简述与深度学习模型推理特性匹配分析
   • 昇腾 CANN 生态支持在推理侧的核心能力
   • DeepSeek 在昇腾平台的部署路径与模块解耦设计思路
3. DeepSeek 推理加速关键技术
   • 大规模专家并行调度优化
   • 集合通信（All2all）优化策略
   • 异构资源调度与算子融合：
4. 效果与总结
   • 推理加速前后主要性能指标对比（吞吐、延迟、资源利用率）
   • 可推广的优化经验总结
   • 对昇腾平台下大模型推理未来演进方向的初步展望

您认为，这样的技术在实践过程中有哪些痛点？

• 部署相对复杂，需要大并发量才能发挥价值。

您的演讲有哪些前沿亮点？

• 大规模专家并行
• 集合通信优化
• 调度优化

听众收益

• 基于昇腾的MoE推理性能优化方案及关键技术