当前，大模型推理正在向手机、PC、智能汽车等边缘侧和端侧产品渗透。然而，在终端部署 AI 大模型时，仍面临着存储与计算资源、功耗、软件生态等多重挑战。商汤大装置 HPC 团队基于多年的传统 CNN 推理基础设施研发与优化的经验，推出 SensePPL 端侧大模型推理框架。在计算优化、推理框架、Serving Pipeline 等层面进行深度调优，最终取得了业界领先的首字延迟、Decoding 吞吐等端侧性能指标，大幅改善终端大模型落地的交互体验。

演讲提纲：

1. 端侧大模型推理的机遇与挑战
2. 端侧推理框架的优化技术
3. Serving Pipeline 流程优化
4. SensePPL 应用

听众收益：

1. 端侧大模型推理的机遇与挑战
2. Linear与Attention等大模型核心算子在端侧的计算优化方案
3. 端侧大模型应用的流程优化技巧

随着大模型相关技术的不断发展，不同场景对大模型也提出了不同的需求。在小米手机、智能汽车等终端产品中，出于对轻量敏捷、安全稳定和成本等方面的考虑，传统的云端大模型似乎并不能满足我们需求。在这种情况下，端侧大型模型正在逐渐成为新的行业热点。

本次演讲聚焦大模型端侧落地的相关技术，首先介绍大模型端侧落地面临的挑战，然后介绍现有的技术方案，以及小米对于大模型端侧落地的探索和相关实践，最后对于端侧大模型的未来做出展望。

演讲提纲：

1. 端侧 AI 的重要性
2. 大模型端侧部署面临的挑战
   • 轻量敏捷
   • 安全稳定
   • 成本考量
3. 大模型轻量化的相关技术探索
   • 模型量化 
   • 稀疏加载 
   • 模型剪枝
4. 总结与展望

听众收益：

• 了解端侧大模型的应用场景及其优势
• 了解端侧运行大模型的一些优化策略以及相关的技术探索

随着人工智能技术的快速发展，大模型的应用范围不断扩大，从云端到边缘侧和端侧，AI 正在全面渗透。然而，在将大模型部署到手机、智能家居、智能汽车等终端设备时，面临着存储、计算资源有限，功耗控制以及软件生态不健全等多重挑战。通过不断的技术探索和优化，岩芯数智率先实现以端侧的多模态大模型的高效运行。本次分享将聚焦端侧大模型的创新研究和应用，从技术难点、优化方法到实际应用和未来趋势。

演讲提纲：

1. 端侧大模型的现状与挑战
2. 端侧大模型的优化与创新
3. 岩芯数智端侧大模型的实践
4. 实际应用与案例分享
5. 未来趋势

听众收益：

• 了解创新性端侧模型的设计方向
• 了解独特的非Transformer架构设计体系
• 了解端侧多模态大模型的原理及展示