专题演讲嘉宾：杨志明

当前，全球 AI 大模型发展进入关键阶段，端侧AI市场展现出巨大潜力，预计到2032年全球规模将达到1436亿美元，覆盖医疗、智能终端、机器人等多个重要领域。深思考人工智能推出的TinyDongni&DeepSeek端侧多模态大模型，通过创新的1.5B/4B双参数架构设计，在保障性能的同时实现高效本地化部署。该方案采用自研Dongni-AMDC量化压缩技术，将模型优化为1B端侧版本，并赋予视觉模态能力，全面适配鸿蒙、Linux、Windows等操作系统及国产算力平台。其核心技术优势包括：Token压缩与多精度混合量化使1.5B模型在骁龙8Gen3上达到20-25 token/s的解码速度；跨模态性能在多项测试中保持领先，0.4B版本图像检索计算量仅175BFLOPs。目前已在智能手机、人形机器人、AI摄像头、AIPC Suite、医学显微镜及存储设备等场景成功落地，为各领域提供安全可靠的端侧AI解决方案。

演讲提纲
端侧大模型是指在设备本地（如智能手机、个人电脑、IoT设备、嵌入式系统等）运行的大模型，其特点是参数规模不大，不需要网络传输，响应速度快，且可以保障用户数据的安全性。本次分享主要介绍深思考“TinyDongni”&“DeepSeek”超小端侧多模态大模型，围绕背景与市场需求，核心工作、差异化技术优势、赋能应用展开。

1. 背景与市场需求
   • 随着个人和企业本地非结构化数据（如图片、视频、文档）以年均58%的速度激增，传统基于文件名或关键词的检索方式已显乏力——无法理解图像内容、视频语义或文档逻辑，导致搜索失败率超60%。专业用户日均因此损失47分钟，亟需支持跨格式语义分析、可离线运行的端侧AI搜索方案，以充分挖掘数据资产价值
2. 核心工作
   • 使用深思考自研的Dongni-AMDC(Adaptive Multi-Dimensional Compression) 方法量化压缩了DeepSeek R1模型为 DeepSeek R1 -1B端侧模型。
   • 使得DeepSeek R1-1B “长眼睛”具备视觉模态能力，从而增强为多模态模型。
   • 适配了开源鸿蒙操作系统（据悉也同时适配了Linux Ubuntu 22.04 / 统信UOS/Windows 10 & 11/Android 14）
   • 将TinyDongni”及“deepseek”超小端侧多模态大模型优化运行至国产算力模组，推出一站式解决方案。
3. 差异化技术优势
   • 创新的端侧模型量化及加速推理的技术：Token数量压缩、模型量化、编译优化、多芯片协同处理、NPU加速、内存使用优化、定制调优。
   • 跨模态端侧模型的性能优势
   • 适配多种芯片
4. 赋能应用
   • 对 AI PC 的赋能
   • 对 AI 手机的赋能
   • 对 AI 摄像头的赋能
   • 对医学显微镜的赋能

您认为，这样的技术在实践过程中有哪些痛点？ 

1. 算力与效能的极限博弈：1B参数模型在低功耗NPU上运行仍面临发热降频问题
2. 多模态对齐的精度损失：跨模态向量空间映射误差导致语义漂移

您的演讲有哪些前沿亮点？ 

1. 解锁端侧AI技术落地的实战方法论
   • 了解如何将十亿级大模型压缩到端侧可运行规模；掌握多模态对齐、内存优化等关键技术的工程化实现路径，避免重复踩坑。
2. 突破现有业务瓶颈的创新视角
   • 学习在国产芯片上实现3.2倍推理加速的优化策略；启发将传统检索系统升级为语义中枢的路径。
3. 预判技术演进趋势的决策依据
   • 提前布局技术储备；抓住开放插件生态的早期接入窗口，建立技术护城河。

听众收益

• 了解大模型在隐私敏感场景（如医疗、金融）的端侧部署实践
• 获取多模态搜索、实时决策、可控输出等技术的行业适配方法论
• 洞察AI与鸿蒙生态、边缘计算的融合趋势