专题演讲嘉宾：牛建伟

从2023年6月开始，蔚来座舱智能化团队开始研发面向智能座舱应用场景的多模态大模型的技术预研工作，经过1年多的系统搭建、数据集构建和训练部署方案的实践，取得了一些技术进展和一定的多模态大模型的应用认知。分享包括对于车载场景的算法适配的训练流程、数据采集筛选和清洗方法、多分辨率以及多VIT encoder的模型改进方法、端侧部署的具体实践情况。同时作为多模态模型的一部分也会简要介绍在语音大模型方面的一些最新进展。本次分享主要涉及多模态大模型技术落地车载场景的业务实践和技术挑战。

演讲提纲：

1. 大模型在座舱智能化上的定位和价值
   • 更自然、主动的交付方式
   • 更好的易用性
2. 蔚来多模态大模型的介绍
   • 模型方案
   • 应用场景和结果展示（守卫大模型、NOMI（语音大模型）、视觉理解能力）
3. 视觉模态模型的技术实践
   •  训练关键流程
   •  数据构建方案
   • 多分辨率、多ViT encoder对性能的影响
   • 视觉特征压缩
   • SFT调优（多task的选择）
   • 技术难点和挑战
4. 听觉模态模型的技术实践
   • 训练关键流程
   • 多语言识别上对数据筛选和模型结构的改进优化
   • 技术难点和挑战
5. 端侧部署实践
   • 端侧部署方案介绍
   • 端侧部署的现状和挑战
6. 总结和展望

听众收益：

• 了解面向智能座舱的多模态大模型的车企技术实践和技术进展
• 了解多模态大模型的技术重点和业务挑战