企业级通用Agent技术落地过程中的实践与思考

所属专题：企业级 Agent 的设计与落地

嘉宾 : 欧阳小刚 | 实在智能合伙人/核心算法部负责人

会议室 : 中华厅 2

讲师介绍

专题演讲嘉宾：欧阳小刚

实在智能合伙人/核心算法部负责人

清华大学自动化系本硕，国家优秀专利奖获得者，获评36氪X-36 Under 36 S级青年创业者代表，在计算机视觉和自然语言处理领域拥有多项授权发明专利，发表多篇国内外核心期刊和会议论文。曾任职阿里巴巴资深算法工程师，在机器学习和运筹优化领域拥有大量的项目实践积累，深度参与会员评级体系的构建，支撑全集团数百亿交易流水.熟悉数据挖掘模型设计、项目管理和产品落地全流程。现任实在智能合伙人、核心算法部负责人，主导了电信、烟草、石油、核电、银行等多个人工智能项目的实施落地。

议题介绍

地点：中华厅 2

所属专题：企业级 Agent 的设计与落地

演讲：企业级通用Agent技术落地过程中的实践与思考

智能体技术已经不再是实验室里的“样品”，而逐渐成为走进各行各业、解决实际业务流程痛点的“新质生产力”工具；然而，当前通用智能体技术在面对场景多变、任务复杂、稳定性要求高等真实场景需求时，大模型幻觉、推理稳定性、GUI操作精准度、工具选择和应用准确率、自主进化和学习能力等问题成为制约智能体技术走向更深、更广应用的瓶颈。

本次演讲聚焦于“实在Agent”通用智能体在自身产品迭代和客户实际场景应用过程中的探索和尝试，重点探讨如何解决复杂任务推理、GUI操作和工具调用、业务场景仿真和主动学习三大问题，从而实现业内首个结合大模型推理、多模态识别和无限制软件操作的通用智能体框架；此外我们还将介绍和剖析“实在Agent”在产品迭代和落地应用过程真实问题和演化路径，展示其在各行业、各场景中的巨大潜力；最后将展望和探讨我们对于Agent技术发展的思考和我们未来的工作方向。

演讲提纲

通用智能体技术的发展、现状和挑战
- 通用智能体的技术发展脉络：从工作流到自主规划
- 通用智能体的研究和应用现状：代表性技术和产品
- 通用智能体技术落地过程的挑战：
  - 复杂任务规划稳定性要求高
    - 复杂任务规划的挑战（多种工具和GUI操作组合）
    - 任务拆解稳定性和可复用性
  - 底层操作能力完备度要求高
    - 如何实现各类软件无缝操作以及MCP够不够？
    - GUI操作的精准度要求和异常情况处理
  - 自主迭代和学习的能力要求高
    - 不同行业的个性化应用场景和办公工具
    - 如何根据用户反馈进行学习和优化
“实在Agent”通用智能体的架构与核心能力构建
- 任务规划：复杂流程拆解和推理的方案迭代
  - 第一版方案：通用大模型+Trick技术（CoT、ReAct、Function Call、RAG、MCP等）
  - 第二版方案：训练和微调自有的任务拆解大模型（数据构造、SFT、强化学习等）
    - TARS-RPA大模型和通用SOTA LLM的效果对比
    - TARS-RPA大模型在意图识别、任务拆解等四个任务上的效果展示
  - 第三版方案：自有大模型+软件地图+流程状态控制（长短期记忆注意、执行过程反思等）
- 流程执行：探索完备且精准的GUI操作和工具调用
  - 通用多模态大模型（MLLM）在通用智能体领域存在的问题
  - GUI-MLLM的能力突破和现存问题：GLM-4.5V、UITARS等
  - 我们的方案：针对通用智能体领域微调的TARS-VL多模态大模型
    - 前期工作：智能屏幕语义理解技术介绍
    - TARS-VL在部分benchmark上的效果对比
    - 提出的GUI-Robust基准评测集介绍
  - 多模态大模型与RPA结合实现GUI操作的优势（数据采集、流程复用、容错机制等）
  - 如何兼容GUI软件操作和外部工具的调用
- 学习能力：寻找高效的场景迁移和在线学习技术
  - 场景知识库+RAG技术的利与弊
  - 软件离线地图：软件操作路径仿真与自动构建
  - 在线学习技术的工程和算法探索（个性化推荐、基于反馈的审核提示词优化等）
- 整体框架：基于上述核心能力探索构建"实在Agent"智能体框架
  - 功能框架图
  - 落地路径方案
“实在Agent”通用智能体实践效果与案例分享
- 产品落地效果
  - 核心技术在产品中的效果展示
  - 产品化过程中的技术选型
    - 大小模型结合提升执行效果和资源利用率
    - 数据采集和联网搜索的结合应用
  - 具体案例：京东商品数据采集
  - 具体案例：投资报告生成和发送
- 典型应用案例
  - 某能源行业客户：“实在Agent”通用智能体实现单据审核
  - 某运营商客户：投诉工单分派与自动化处理
未来展望
- 发展方向展望
  - 大模型能力的提升将成为通用智能体研究和落地的核心驱动力
  - 通用智能体技术的创新是一个系统工程，但又不仅仅是简单的技术缝合
  - 通用智能体技术将驱动企业智能办公与人机协同模式IDE变革
- 后续工作方向
  - 围绕TARS-RPA和TARS-VL两个大模型的能力提升
  - 提高长链复杂流程的稳定性、复用性和学习能力