专题演讲嘉宾：黄武伟

随着大模型相关技术的不断发展，不同场景对大模型也提出了不同的需求。在小米手机、智能汽车等终端产品中，出于对轻量敏捷、安全稳定和成本等方面的考虑，传统的云端大模型似乎并不能满足我们需求。在这种情况下，端侧大型模型正在逐渐成为新的行业热点。

本次演讲聚焦大模型端侧落地的相关技术，首先介绍大模型端侧落地面临的挑战，然后介绍现有的技术方案，以及小米对于大模型端侧落地的探索和相关实践，最后对于端侧大模型的未来做出展望。

演讲提纲：

1. 端侧 AI 的重要性
2. 大模型端侧部署面临的挑战
   • 轻量敏捷
   • 安全稳定
   • 成本考量
3. 大模型轻量化的相关技术探索
   • 模型量化 
   • 稀疏加载 
   • 模型剪枝
4. 总结与展望

听众收益：

• 了解端侧大模型的应用场景及其优势
• 了解端侧运行大模型的一些优化策略以及相关的技术探索