随着大模型相关技术的迅速发展，端侧大模型也越来越受到重视，端侧部署大模型具有隐私安全高、推理成本低、无网可响应等优点，但端侧面临资源受限的核心挑战，比如算力、内存、内存带宽、CPU等资源，导致大模型难以在端侧商业化落地。本团队通过自研高性能的大模型推理框架克服了资源的限制，实现了端侧大模型在多个业务上商业化落地，最终以极低的资源占用实现业界领先的推理速度（超过 180 toks/s）。

演讲提纲

1. 端侧大模型推理面临的挑战
2. 端侧大模型推理架构
   • 小爱同学业务差异化诉求
   • 多业务共享基座架构，支持并发推理
   • 跨硬件平台推理
   • 大模型热更新策略
3. 端侧大模型高性能推理技术
   • 基于端侧硬件资源限制的优化
   • 大模型低比特量化
   •  CPU高性能计算
   • 高加速比的并行解码策略

4. 端侧大模型未来技术展望

技术实践痛点

1. 资源有限的情况下，怎么支持多个业务，以及支持多个任务并发
2. 大模型推理占用带宽高，会导致系统应用卡顿，这里需要做tradeoff

演讲前沿亮点

1. 有限资源下的高性能推理，达到180toks/s
2. 支持多业务大模型并发推理

听众收益

1. 了解到目前端侧大模型部署的挑战
2. 了解端侧大模型推理的架构
3. 了解端侧大模型高性能推理技术

本次分享将聚焦百度地图在 AI 时代的智能化跃迁之路，如何从“被动工具”转型为“主动智能体”。我们引入大模型技术与智能体架构，打造“听得懂、看得见、记得住、更懂你”的出行搭子：通过 LLM 驱动的意图理解、多模态空间感知、个性化记忆与推荐机制，解决地图业务中“懂用户、调能力、连体验”的难题。在平台层面，我们构建问推一体框架与能力中台，支持多子Agent高效接入，支撑复杂场景下的智能调度。最后，我们通过自动化的数据飞轮体系替代人工评估，驱动业务指标持续优化，实现低成本、高智能的产品演进路径。

演讲提纲

1. 百度地图的智能化跃迁：从被动工具到主动智能体
   • 数据与能力积累
   • 交互挑战与痛点（为什么需要智能体）
   • 百度地图在AI时代的新使命
2. 打造“听得懂、看得见、记得住、更懂你”的地图智能体
   • 听得懂：语言理解与意图识别升级
   • 看得见：空间感知与内容理解
   • 记得住：记忆机制与上下文对齐
   • 更懂你：个性化推荐与出行决策优化
   • 数据飞轮：构建以业务指标提升为目标的自动化迭代闭环
3. 从能力沉淀到生态演化：地图智能体的下一站
   • 智能体平台化演进
   • 地图典型场景下的多Agent生态协同

您认为，这样的技术在实践过程中有哪些痛点？

• 问答效果和时效性的问题
• 推荐时机、内容和成本的问题
• 复杂任务子Agent、工具的使用，以及稳定性等问题

您的演讲有哪些前沿亮点？

1. 多模态地图语义理解：从“地理数据”到“空间语义”感知
2. 问推一体：融合大模型对话与推荐的统一智能体框架
3. 能力平台化与生态化设计：构建智能体中台

听众收益

1. 对地图智能化演进路径的系统认知
   • 可以了解百度地图从传统导航工具向主动式智能体的转型路径，以及大模型带来的技术与体验革新。
2. 一线实践中的方法论与技术机制
   • 深入剖析“听得懂、看得见、记得住、更懂你”四大核心能力的构建方案，掌握背后的 LLM 应用、Tool 调用、记忆机制等关键技术策略。

当前，全球 AI 大模型发展进入关键阶段，端侧AI市场展现出巨大潜力，预计到2032年全球规模将达到1436亿美元，覆盖医疗、智能终端、机器人等多个重要领域。深思考人工智能推出的TinyDongni&DeepSeek端侧多模态大模型，通过创新的1.5B/4B双参数架构设计，在保障性能的同时实现高效本地化部署。该方案采用自研Dongni-AMDC量化压缩技术，将模型优化为1B端侧版本，并赋予视觉模态能力，全面适配鸿蒙、Linux、Windows等操作系统及国产算力平台。其核心技术优势包括：Token压缩与多精度混合量化使1.5B模型在骁龙8Gen3上达到20-25 token/s的解码速度；跨模态性能在多项测试中保持领先，0.4B版本图像检索计算量仅175BFLOPs。目前已在智能手机、人形机器人、AI摄像头、AIPC Suite、医学显微镜及存储设备等场景成功落地，为各领域提供安全可靠的端侧AI解决方案。

演讲提纲
端侧大模型是指在设备本地（如智能手机、个人电脑、IoT设备、嵌入式系统等）运行的大模型，其特点是参数规模不大，不需要网络传输，响应速度快，且可以保障用户数据的安全性。本次分享主要介绍深思考“TinyDongni”&“DeepSeek”超小端侧多模态大模型，围绕背景与市场需求，核心工作、差异化技术优势、赋能应用展开。

1. 背景与市场需求
   • 随着个人和企业本地非结构化数据（如图片、视频、文档）以年均58%的速度激增，传统基于文件名或关键词的检索方式已显乏力——无法理解图像内容、视频语义或文档逻辑，导致搜索失败率超60%。专业用户日均因此损失47分钟，亟需支持跨格式语义分析、可离线运行的端侧AI搜索方案，以充分挖掘数据资产价值
2. 核心工作
   • 使用深思考自研的Dongni-AMDC(Adaptive Multi-Dimensional Compression) 方法量化压缩了DeepSeek R1模型为 DeepSeek R1 -1B端侧模型。
   • 使得DeepSeek R1-1B “长眼睛”具备视觉模态能力，从而增强为多模态模型。
   • 适配了开源鸿蒙操作系统（据悉也同时适配了Linux Ubuntu 22.04 / 统信UOS/Windows 10 & 11/Android 14）
   • 将TinyDongni”及“deepseek”超小端侧多模态大模型优化运行至国产算力模组，推出一站式解决方案。
3. 差异化技术优势
   • 创新的端侧模型量化及加速推理的技术：Token数量压缩、模型量化、编译优化、多芯片协同处理、NPU加速、内存使用优化、定制调优。
   • 跨模态端侧模型的性能优势
   • 适配多种芯片
4. 赋能应用
   • 对 AI PC 的赋能
   • 对 AI 手机的赋能
   • 对 AI 摄像头的赋能
   • 对医学显微镜的赋能

您认为，这样的技术在实践过程中有哪些痛点？ 

1. 算力与效能的极限博弈：1B参数模型在低功耗NPU上运行仍面临发热降频问题
2. 多模态对齐的精度损失：跨模态向量空间映射误差导致语义漂移

您的演讲有哪些前沿亮点？ 

1. 解锁端侧AI技术落地的实战方法论
   • 了解如何将十亿级大模型压缩到端侧可运行规模；掌握多模态对齐、内存优化等关键技术的工程化实现路径，避免重复踩坑。
2. 突破现有业务瓶颈的创新视角
   • 学习在国产芯片上实现3.2倍推理加速的优化策略；启发将传统检索系统升级为语义中枢的路径。
3. 预判技术演进趋势的决策依据
   • 提前布局技术储备；抓住开放插件生态的早期接入窗口，建立技术护城河。

听众收益

• 了解大模型在隐私敏感场景（如医疗、金融）的端侧部署实践
• 获取多模态搜索、实时决策、可控输出等技术的行业适配方法论
• 洞察AI与鸿蒙生态、边缘计算的融合趋势