专题演讲嘉宾：刘鹏

智能手机每天承载着用户大量的内容消费与操作行为，但传统 AI 助手仅能被动响应单次唤醒，无法真正"陪伴"用户的手机使用旅程。本次分享介绍的系统，以手机屏幕时序视频流为输入，构建了一个具备持续感知、个性化记忆与主动执行能力的多模态伴随 Agent。

我们将重点分享三个算法核心：一是屏幕多模态意图理解，在用户无需明确表达完整需求的伴随场景中，结合屏幕内容与对话上下文，推断用户真实意图并主动规划最优响应路径；二是时序记忆管理，基于时间窗口与指数衰减的伴随记忆机制，让 Agent 始终"活在当下"并持续积累用户个性化偏好；三是工具执行与结果融合，面向本地生活、知识检索、系统操作等多类任务，多工具并发调用与结果排序的工程实践。

该系统已在 OPPO 手机端规模化落地，历史迭代产品分别在 2024、2025 年开发者大会正式亮相。我们将结合真实踩坑案例，分享陪伴类 Agent 从 0 到 1 落地的完整经验。

演讲提纲：

1. 伴随助手Agent整体设计
   • 范式跃迁：从"唤醒-响应"到"持续感知-陪伴"
   • 三大核心挑战：实时性、时序性、意图模糊性
   • 系统架构全景概览
2. 屏幕多模态意图理解
   • 多维并行意图识别架构设计
   • 意图冲突时的融合决策策略
   • 规则驱动与模型驱动的边界：混合架构的演进与取舍
3. 时序记忆管理
   • 流式多层级多场景 Memory 架构设计
   • 视频流有效信息提取与噪音过滤实践
   • 时间窗口选择困境与时间衰减检索机制
4. 工具执行与结果融合
   • 旅行生活场景的专属子 Agent 设计
   • 多工具并发执行与降级策略
   • 误触发治理与多链路结果融合排序
5. 总结与展望
   • 效果呈现与已知边界
   • 从被动响应到主动陪伴
   • 从会话记忆到用户心智模型

听众收益：

• 全面了解OPPO从0到1搭建的多模态Agent架构设计和落地经验