Agent 上线后，真实任务会不断暴露工具调用、业务规则和上下文理解上的问题。本次分享结合 AgentLoop 实践，介绍如何将这些问题转化为持续优化的数据来源：从运行数据中还原完整轨迹，沉淀评估题库，再结合业务知识生成评估器，由评估 Agent 调用工具查证，给出分数与依据。在此基础上，分析问题出在 Prompt、工具还是知识，形成优化建议，并通过同一题库回测验证改动。分享将重点讨论轨迹组装、超长与多模态数据处理、评分稳定性等工程难点，并介绍如何沉淀和复用经验，让评估结果持续用于下一轮改进。

演讲提纲

1. 数据准备：从运行记录到评估题库
   • 采集模型与工具调用，判断会话结束，组装单轮、多轮轨迹
   • 清洗重复上下文，沉淀业务样本与问题回归集
2. 效果评估：让评分有业务标准和事实依据
   • 结合业务材料与样例生成评估器，按任务要求制定验收细则
   • 介绍评估 Agent 的工具取证、超长轨迹与多模态处理，以及评分稳定性和人工校准
3. 优化验证：从低分原因到下一轮改进
   • 结合轨迹定位 Prompt、工具或知识问题，生成优化建议
   • 用同一题库对比修改前后的效果，并将有效经验用于后续任务
4. 技术实践
   • 串起数据准备、评估、归因和回测的完整流程，总结落地中的问题与经验
5. 总结与展望

听众收益

• 掌握从线上轨迹到评估题库的数据准备方法
• 学会结合业务规则设计评估器，并检查评分的稳定性与合理性
• 了解如何用归因、实验回测和经验复用，建立持续优化流程

演讲亮点

• 用真实案例串起观测、评估、归因与回测，讲清数据如何推动 Agent 改进
• 评估器本身也是 Agent，可结合业务知识、调用工具查证，给出可复核的评分依据
• 将问题样本和有效经验持续沉淀，支持版本回归与后续任务复用