专题演讲嘉宾：王芷

当 Agent 从 Demo 走向真实业务场景，挑战也从“能不能跑起来”逐渐转变为“如何知道它运行得好不好，以及如何持续优化”。

本次分享将围绕 Agent 的 Observability、Evaluation 和 Optimization 展开，从一次 Agent 请求的完整执行链路出发，介绍如何通过 Trace 和运行数据定位 Agent 的问题，如何构建可量化、可重复的评估体系，并进一步从 Prompt、Model、Tool 和 Workflow 等维度持续优化 Agent。

演讲提纲

1. Agent 上线之后，真正的挑战才刚开始
   • 为什么 Agent 在 Demo 中表现很好，真实场景却可能不稳定
   • 面对复杂 Agent Workflow，如何判断问题出在 Model、Prompt、Tool 还是执行链路
2. Observe：让 Agent 的运行过程真正可见
   • Trace 一次完整的 Agent Execution
   • 观察模型推理、Tool Calling、Latency、Token 等关键运行信息
   • 从 Trace 中快速定位异常行为和失败路径
3. Evaluate：从“感觉不错”走向量化评估
   • 建立 Evaluation Dataset 和评估基线
   • 从回答质量、任务完成度、工具调用等维度评估 Agent
   • 让不同 Prompt、模型和 Agent 版本之间可以量化比较
4. Optimize：让数据真正驱动 Agent 优化
   • 根据 Trace 和 Evaluation 结果定位优化方向
   • 从 Prompt、Model、Tool 和 Workflow 多层面优化
   • 综合考虑 Quality、Latency 和 Cost，而不仅仅追求模型效果​

听众收益

• 理解为什么生产级 Agent 需要 Observability、Evaluation 和 Optimization
• 掌握通过 Trace 定位 Agent 问题的基本方法
• 理解如何构建 Evaluation Dataset、Evaluator 和评估基线
• 学会从 Prompt、Model、Tool 和 Workflow 等不同层面优化 Agent
• 理解如何在 Quality、Latency 和 Cost 之间进行数据驱动的优化决策