专题演讲嘉宾：丁湘

随着 LLM 在广告私信智能客服规模化落地，评测与生产治理面临多重考验：端到端评测只能判定"结果错"，定位不了具体环节；固定评测集评测，模拟不了线上真实多轮对话场景；AI 裁判员人机一致率低，调优成本高；测试环境效果达标，生产环境却不稳定。

本次分享探讨如何构建贯穿评测与生产治理的双闭环体系：通过过程节点埋点结合全链路Trace，基于角色驱动的仿真对话多轮推理评测，以自进化流水线迭代评测规则持续调优裁判员判断依据，压测结合监控巡检保障生产稳定性，最终实现评测与生产治理各自闭合成环，智能客服从"只知道结果错"走向"知道错在哪、兜得住线上"的确定性保障。

演讲提纲

1. 广告私信智能客服的评测与治理挑战
   • 端到端无法定位归因
   • 测试环境评测与线上真实效果脱节
   • AI 裁判员人机一致率低、调优成本高
   • 测试环境达标不等于生产环境稳定
2. 评测治理体系的架构设计与双闭环
   • 评测可信链与生产可靠性治理链协同
   • 评测体系迭代与生产治理迭代双闭环
3. 评测可信链：评测体系构建、可信验证与质量准出
   • 评测标准：区分度、稳定性与泛化性验证
   • 评测数据集：多源数据供给与仿真用户多轮评测
   • 评测对象：端到端与过程环节双轨评测
   • 评测裁判员调优：评测规则自进化流水线
   • 质量准出门禁：指标阈值判定与人工豁免机制
4. 生产可靠性治理链：变更管控、分级保护与闭环改进
   • 变更管控与候选版本实施
   • 发布前双门禁
   • AB 灰度上线
   • 在线巡检与归因
   • 异常保护与容灾恢复
   • 回归改进
5. 工程落地与量化收益
   • 发布流程嵌入
   • 评测侧收益：智能客服 badcase 率从 35% 降至 5%
   • 生产治理侧收益：线上处置时效从 30 分钟缩短至 5 分钟，2026 年巡检累计拦截 20 万+ badcase

听众收益

1. 一套把评测结果转化为发布决策的工程方法：学习如何将评测分数、Badcase 分类和严重等级等指标转化为可执行的质量准出阈值，设计“默认阻断→工程/算法修复→重走评测→人工豁免留痕”机制，避免评测只产出报告、却没有真正约束发布
2. 一条从变更到线上稳定运行的生产可靠性治理路线：掌握“变更管控→测试环境候选版本→发布前双门禁→A/B 灰度→在线巡检与归因→异常保护与容灾恢复→回归改进”的完整链路，可用于盘点团队现状并规划质量与稳定性建设优先级
3. 一套 AI 辅助、但保留人工边界的持续迭代实践：学习如何将线上 Badcase、故障归因和处置事件回流为评测集、评测规则和巡检规则；由 AI 辅助规则比对、根因诊断和优化方案生成，同时保留人工门禁、异常豁免和回滚决策，避免自动化失控