当 Agent 开始参与企业业务研发,承担需求拆解、业务配置与实现、质量校验等任务,工具链要解决的问题也随之变化:单次业务系统操作成功,如何保证整条研发任务链路正确?长任务中的业务状态偏差和上下文失真,如何发现并恢复?业务操作权限如何随风险受控开放?一次任务中的修正,又如何成为下一次可复用的经验?这些问题涉及业务系统接口、Agent 运行时和治理机制,需要在平台层统一处理。
我们的实践从配置驱动转向意图驱动:用户表达业务目标,系统结合专家知识生成方案,通过低代码 Harness 编排执行。工具主要封装企业业务系统的操作能力,研发工具链将这些能力组织成可执行、可校验的任务流程。底座围绕四条主线建设:业务操作工具协议化与能力原子化、Agent 运行时工程化、上下文工程平台化,以及摩擦信号驱动的改进闭环。
这套架构以“AI 的操作系统”为定位,重点是减少任务执行中的不确定性。输入侧通过知识、规则和上下文收敛方案;输出侧让用户看懂执行过程、判断结果是否可信,并能直接修改。权限、审计、评测和人工审批贯穿其中,支持 Agent 在受控范围内逐步承担更多工作。
目前已覆盖需求拆解、业务配置与实现、质量校验等核心链路。本次分享将结合实际案例,讨论业务操作工具的粒度、低代码 Harness、上下文治理与人机分工的设计取舍,以及如何把执行中的失败和用户修正沉淀为平台规则与可复用的经验,让同类任务少踩一次坑。
演讲提纲
- 问题:从完成一次任务,到稳定支撑研发流程
- 单次业务系统操作成功不代表研发任务完成,跨系统执行需要校验业务约束与结果一致性
- 长任务中的上下文失真、状态偏差和失败重试,会放大局部错误
- 如何统一管理不同 Agent 的权限、审批与恢复机制,让跨系统任务始终处于受控范围?
- 如何将单次任务中的用户修正转化为可复用的经验,减少同类错误?
- 架构:以“AI 的操作系统”为定位,围绕任务降熵建设底座
- 业务操作工具协议化与能力原子化
- 通过统一工具协议封装企业业务系统的操作能力,按业务语义划分边界,保持能力正交,并明确重试与幂等约束。一个工具对应一项能说清楚、能校验结果的业务操作
- 工具描述采用“动作 / 输入 / 输出 / 用例”四段式,写清业务对象、操作前置条件、影响范围与结果状态,显式声明副作用
- 业务操作粒度不宜一味拆细:过粗会隐藏业务判断和变更范围,过细又会增加跨系统调用、上下文负担和中间失败点
- Agent 运行时工程化与低代码 Harness
- Harness 统一承接业务操作工具召回、Prompt 组装、任务状态机、Hooks、执行观测与回放,避免每个业务场景重复搭建执行逻辑
- 用低代码方式组织任务执行与扩展点配置,降低业务团队组合能力、接入 Agent 的成本
- 打通低代码流程与代码实现,兼顾业务侧的易用性与研发侧的灵活性
- 讨论取舍:哪些能力由平台统一约束,哪些允许业务扩展;低代码覆盖到哪里,什么时候需要进入代码层
- 上下文工程平台化:输入侧减少歧义
- 专家知识库为意图理解和方案生成提供业务依据;规则支持按业务、渠道和场景配置,在任务各环节引导执行
- 上下文管理优先保证信噪比,围绕当前任务组织业务规则、配置与系统状态,通过分层缓存、结构化切分与上下文预算管理控制信息规模
- 区分当前任务状态、业务规则与个人记忆,避免过时的业务配置或个人偏好被当成当前系统事实
- 治理贯穿执行过程
- 将权限控制、审计和评测纳入运行时,根据任务风险与验证结果逐步扩大自动执行范围
- 在授权范围内,低风险、可恢复的操作可自动执行;高风险或不可逆变更需人工确认
- Harness 统一管理自动执行与人工介入的边界,通过 Hooks 在关键步骤触发校验或人工确认
- 评测与人机分工:让用户看得懂、信得过、改得动
- 看得懂:呈现业务方案、目标系统、流程节点和关键配置,让用户知道系统准备执行哪些操作
- 信得过:让业务约束、校验结果与执行记录可检查。自建场景化 Eval Set,结合 LLM-as-Judge 评估方案与结果;确定性约束仍由程序校验
- 改得动:用户可以调整业务配置、流程节点和必要的代码,不必因为一个局部错误重跑整个任务
- 摩擦驱动自进化:把失败与修正变成可复用的经验
- 高价值信号来自任务跑不顺的地方:用户打断、业务操作连续失败、任务卡死,以及用户对方案和配置的修改
- 闭环:在明确数据使用范围与留存边界的前提下,采集必要的执行记录与反馈 → 串联任务过程 → 判断问题来源 → 提炼规则 → 评测验证 → 写回 Harness,按风险灰度生效
- 共性的执行问题由 Harness 统一处理,业务差异通过规则和 Skill 扩展,经过验证的经验再沉淀为可复用能力
- 知识复利:让经过验证的经验跨任务、跨团队复用,持续改善后续执行
- 下一步:把平台经验沉淀成研发协议族
- 协议沉淀:将业务操作工具协议、上下文协议、Harness 扩展点协议和审计协议沉淀为内部研发 AI 协议族,支持跨团队复用
- 知识沉淀:从研发任务的操作记录与反馈中提炼经过验证的规则、模板和案例,形成可复用的内部知识资产
- 开放共建:平台保留协议与治理,能力组合权交给一线业务团队;通过低代码 Harness 和可配置规则承接不同场景
- 验证端到端提效、接入成本和复用效果
听众收益
- 了解企业研发 Agent 底座的设计思路,掌握业务操作工具拆分、低代码 Harness 编排与上下文管理的关键取舍
- 学习 Agent 任务的质量校验与人机分工方法,通过权限、评测和人工审批,让执行过程可检查、结果可修改
- 掌握从执行失败和用户修正中提炼经验的方法,通过规则沉淀、评测验证与灰度应用,减少同类任务的重复错误