用户对个性化体验的诉求持续升级，传统云端智能深陷响应延迟、隐私合规与算力成本三重瓶颈。端侧智能将决策下沉至终端，成为破局关键。京东端智能团队自研全栈基建，构建两大核心能力：行为智能实时捕捉用户意图，实现推荐预判；数据智能在本地产出脱敏洞察，兼顾精度与合规。面对端侧算力受限、平台异构及开发范式割裂等挑战，通过统一编译、高效运行时与跨端一致执行架构，系统性攻克。该基建已落地实时推荐、风控拦截、精准营销等场景。大模型时代，端侧智能提供实时上下文感知、合规数据供给与端云协同调度，补齐端侧落地关键拼图。

 

演讲提纲

1. 现状与价值
   • 电商场景用户停留时长短、行为高频、意图切换快，需在数秒内完成决策响应；大促峰值进一步放大实时与隐私诉求。传统云端受限于延迟、合规与成本，难以支撑。端侧智能将决策下沉至终端，天然适配“短时、高频、实时、敏感”特征，已在推荐、风控、营销中验证其不可替代价值。
2. 核心能力
   • 行为智能：事件驱动识别用户意图，全链路端侧闭环，零网络依赖。
   • 数据智能：数据不出设备，产出脱敏洞察（如偏好标签），特征中心一次计算多方复用。
3. 关键挑战
   • 算力受限、平台碎片化（三端差异）、开发范式割裂（三种范式）、状态管理失控、隐私与精度冲突。
4. 解决方案
   • 自研运行时极致压榨算力
   • 核心逻辑统一，三端薄封装
   • 统一编译与加载，收敛为单一平台
   • 状态上限管理、内存池化、线程安全
   • 数据闭环仅传递脱敏洞察，兼顾智能与合规
5. 实践成效
   • 实时推荐：零等待个性化渲染
   • 实时风控：端侧秒级拦截
   • 精准营销：微行为实时触发
   • 脚本+模型混合：模型感知，脚本决策
   • 隐私洞察：替代原始数据上报，效果不变
6. 大模型时代定位
   • 大模型缺乏实时场景感知，端侧行为智能为其提供精准上下文（如“正在对比手机”），数据智能提供合规脱敏输入。端云分工：端侧高频感知，云端深度推理，端侧基建补全“感知→推理→执行”链路，成为大模型不可或缺的基础设施层。

这样的技术在实践过程中有哪些痛点？

1. 端侧算力预算与业务需求的持续博弈：端侧资源是共享竞争的硬约束，业务方追求"越智能越好"，但算力天花板硬性存在，智能覆盖面与体验底线难以兼顾；
2. 多业务策略冲突与协调：各业务线独立接入端侧导致特征重复采集、资源争抢、优先级冲突，缺乏统一调度机制；
3. 效果度量与归因困难：端侧策略在本地执行，效果回传有延迟丢失，且与云端策略叠加后归因复杂，缺乏清晰的度量体系；
4. 业务认知转换成本：从"上报原始数据让云端算"到"端侧产出洞察自己算"，架构认知和开发习惯的转换需要学习投入。

听众收益

1. 端侧智能架构设计方法论：统一编译、跨端一致的架构原则与工程决策逻辑，可直接借鉴应用于端侧智能系统设计；
2. 端侧落地难点的通用解法：算力压榨、碎片化抹平、多范式收敛、状态治理、隐私兼顾的系统性工程经验，不依赖特定技术栈，帮助少走弯路；
3. 大模型时代端侧基建的战略定位：理解行为智能与数据智能为何是大模型落地端侧不可或缺的基础设施，帮助技术领导者在架构规划中提前布局端侧能力。