专题演讲嘉宾：许文敏

A/B 实验平台目前支撑了字节跳动大部分商业化场景，同时也面向 ToB 多个行业进行外部服务，目前字节内部每天都在运行很多实验，这些实验效果的好坏，都需要通过数据分析师来进行分析。如何让业务的一线产品、运营、开发能够直接了解实验的效果和归因呢？我们引入了 LLM 的 Finetuning，来学会数据科学家的经验，实现对一线用户的实验分析提效。

于此同时，在 ToB 企业应用场景中，如何让没有 AB 经验的用户能够高效的开启实验，我们利用 RAG+LLM 来解决客户的实验咨询以及实验创编的效率。

演讲提纲：

1. 业务背景 & 问题

   • 字节 A/B 实验平台介绍

   • 当前 A/B 实验平台面临的问题

2. 问题分析 &LLM 方案设计

   1. 问题分析

      • 如何提升实验报告的分析效率

      • 如何降低实验创建的门槛

   2. LLM 方案设计

      • 如何设计 RAG 技术链路

      • 如何设计 Finetuning 技术链路

      • 如何设计 badcase 评估链路

3. LLM 在业务的结合与落地

   • LLM 与字节对内业务的结合

   • LLM 与 TOB 业务的结合

   • LLM 业务落地数据

4. LLM 业务规划

   • 场景探索

   • 技术优化

听众收益：

• 了解 LLM 在业务里面怎么落地
• 了解 RAG+Finetuning 的基本使用
• 了解 A/B 实验如何提升 LLM infra 效率