OPPO在2025年开发者大会上发布了“AI实景对话”首次让助手“走出屏幕”。在线下门店场景中，我们与大众点评达成深度合作，支持用户在逛街时（CityWalk），通过实景对话功能调用手机中大众点评的店铺信息与菜单数据，完成类似“AI版探店助手”的体验。即使站在餐厅门口，也无需手动搜索，AI即可提供评价、推荐菜品与价格信息。

CityWalk Agent作为“AI实景对话”一个独特的Agent，在实际场景中遇到并解决了诸多技术挑战：

1. 路由意图：粗粒度路由识别CityWalk领域，细粒度意图识别锚定上屏卡。
2. 店铺指代：结合用户多轮语音提问和点击动作准确关联店铺名，支持随时打断。
3. 记忆管理：综合历史对话和历史画面，动态管理视频记忆。
4. 后处理：基于poi坐标距离和相似度过滤，店名难例rag和图像超清。

通过组合优化，CityWalk Agent意图店名的召回率和准确率达到了90%以上的效果。
 

演讲提纲
1、同行VideoAgent产品或有影响力的开源项目
2、CityWalk Agent整体交互流程图和“AI实景对话”其它Agent
3、技术拆解（路由意图、店铺指代、记忆管理）和实际案例，推荐AndesVL
4、VideoAgent未来技术展望

您认为，这样的技术在实践过程中有哪些痛点？
在流式视频问答中，将videoqa转化为单帧imageqa可以解决大部分问题，但是仍然存在多画幅问题，目前取帧数量动态调整算法尚处于研究阶段，过多取帧会引入更大时延，过少取帧会牺牲效果，于是产生了tradeoff。
 

您的演讲有哪些前沿亮点？

1. 点击链路：通过主体检测圈定店铺牌匾grounding，结合visual prompt进行准确的店铺锚定，在多店场景尤为好用。
2. 视频记忆：围绕时间戳的记忆回溯，综合历史qa和历史caption检索店铺，无需用户持续对着店铺拍摄。
3. 反思模块：结合下游mcp反馈，避开非餐饮短板领域，持续提升意图和上屏卡的准确率。

听众收益

1. CityWalk Agent整体交互链路和各子模块设计思路；
2. 同行VideoAgent产品或者有影响力的开源项目；
3. VideoAgent未来技术展望，例如端侧omni和云端vlm协作。