用 AI 操作 GUI,飞猪以 GUI Agent 重塑流程自动化与交付效率

所属专题:AI 驱动的提效与增长实践

嘉宾 : 梁筱武 | 飞猪高级技术专家

会议室 : 中华厅 1

讲师介绍

专题演讲嘉宾:梁筱武

飞猪高级技术专家

拥有多年 GUI 自动化框架设计与落地经验,先后参与并主导百度与微软的 GUI 自动化框架研发:在百度期间,于 2011 年开源 Web GUI 自动化框架 selenium-lib(发布于 Google Code);在微软期间参与/主导 KAF 框架编写。2025 年起,重点探索以 AI 技术驱动的 RPA 架构升级。

议题介绍

演讲:用 AI 操作 GUI,飞猪以 GUI Agent 重塑流程自动化与交付效率

传统软件自动化技术 RPA 遇到哪些效率问题,AI 技术的发展带来哪些可能性,在飞猪如何选择业务场景与 AI 技术结合,如何设计飞猪 GUI Agent。在飞猪机票业务流程实践中,我们通过 GUI Agent 代替 RPA,显著提升研发效率。

演讲提纲:

  1. 为什么我们需要 GUI Agent?
    • 传统 RPA 技术的困境
    • 新思路:借力 AI,让 AI 像人类一样操作 GUI
  2. GUI Agent 是什么?
  3. 整体架构设计
    • 核心工作流介绍
    • 系统模块详解
      • Planning Engine:任务规划大脑
      • UI-Tars 模型:视觉定位专家
      • OCR 辅助判断
      • Agent Memory:长期记忆系统
      • Client SDK:客户端集成层
  4. 关键技术实践
    • 如何让大模型“真正看懂”界面?
      • 精细化 Prompt 设计
      • 上下文增强策略
      • 结构化动作空间定义
    • 动态坐标预测的成功率优化
    • 错误处理与自愈机制
    • 性能优化:速度与精度的平衡
  5. 落地案例:机票值机流程自动化
    • 业务背景
    • GUI Agent 实现流程
    • 效果对比
    • 业务价值
  6. 挑战与未来展望

听众收益:

  • 了解 RPA 与 GUI Agent 技术架构选型思路,实践中碰到的坑,及未来的一些趋势判断。

交通指南

北京石景山万达嘉华酒店

Wanda Realm Beijing
地址:北京市石景山区石景山路甲18号院
  • 微信咨询

  • 电话咨询

    联系电话:13269078023

领取往期热门演讲视频

领取往期热门演讲视频二维码
如您在购票过程中遇到问题,请扫码咨询票务小助手