专题演讲嘉宾：尹小明

在大模型技术飞速发展的当下，大数据领域的各类应用如雨后春笋般涌现，从数仓开发到ChatBI问数，再到深度分析 Agent，这些领域的大模型应用极大地提升了数据处理和分析的效率。但与此同时，如何科学、准确地评估这些应用的效果，成为了行业面临的重要难题。

作为字节跳动数据平台的大模型效果评估团队，我们深耕数据应用Agent 领域，构建了覆盖从数据开发到数据应用垂直领域Agent应用的评测技术体系，尤其在自动化评测算法、Agent 级评测框架等方面形成了可落地的技术方案。本次分享将聚焦这一领域的技术细节与实践经验。

演讲提纲：

1. 大模型评测基础方法论与数据应用 Agent 的适配挑战
   • 大模型评测的通用技术框架：评测维度、主流方法和技术痛点
   • 数据应用 Agent 的垂直适配难点：领域特殊性、维度扩展和效率挑战
2. Agent 应用的三层评测体系
   • 体系设计：贯穿“技术选型-研发迭代-业务效果”的全流程评测
   • 各层级核心定位与评测指标
3. Data Agent 的评测技术创新和实践
   • 取数问答(Text2SQL)的自动化评测：评测体系设计、技术创新和实践效果
   • 深度研究(Deep Research)的评测技术突破：评测体系设计、技术创新和实践效果
   • Agent-as-a-Judge 应用详解：技术架构设计、关键技术优化和实践效果
4. 评估平台的工具与链路建设
   • 核心功能矩阵：评测集管理、评估执行、效果分析与数据飞轮
   • 特色功能详解：评估流程构建、线上Case回流和数据飞轮
5. 未来展望

听众收益：

1. 了解大数据领域大模型应用评测的基础方法论和垂直领域的评测体系建设思路。
2. 了解SQL和数据Agent 评测技术创新和在具体业务场景中的实践经验。