大模型调优数据的高效构建与进化方法

所属专题:大模型时代的数据处理与分析

嘉宾 : 单海军 | 中电金信研究院副院长

会议室 : 第二会议室B

讲师介绍

专题演讲嘉宾:单海军

中电金信研究院副院长

单海军,工学博士,正高级工程师。现任中国电子集团中电金信副总裁、研究院副院长,负责公司AI业务线。毕业于浙江大学,先后获得学士和博士学位,2011-2012期间在美国明尼苏达大学公派留学,有15余年人工智能领域的研发和管理经验。担任国家科技项目管理专家库专家、浙江省科技专家库专家、复旦大学电子信息学术学位行业导师,入选了上海市青年拔尖人才、上海市产业菁英高层次人才。曾任职于华为中央软件研究院和之江实验室(国家级),分别担任技术主管和人工智能研究中心负责人。曾主持和参与了7个国家级和省部级项目,获得2022年度中国电子集团科技人才奖,发表高水平论文和国内外发明专利50余篇,拥有国际ITU标准1项和行业标准多项。

议题介绍

演讲:大模型调优数据的高效构建与进化方法

大模型训练调优演进很快,高质量的数据处理与标注也一直是大模型训练与调优的痛点。DeepSeek最新构建的大模型使用纯强化学习的方式进行大模型训练。未来大模型的训练是否还需标注的数据,数据构建标注是否还有意义?如何高效处理与构建,并进行指令数据的进化,值得研究与探索。

演讲提纲

  1. 背景介绍:大模型训练调优对数据的需求变化
  2. 大模型后训练数据准备与处理
  3. SFT指令数据构建及处理
  4. RLHF数据的构建与训练
  5. 大模型数据安全与版本管理

您认为,这样的技术在实践过程中有哪些痛点?

  1. 未来是否还需要数据标注悬而未决
  2. 如何保证数据的质量
  3. 如何降低人工标注数据的工作量

您的演讲有哪些前沿亮点?

  1. 端到端介绍大模型数据工程的处理链路
  2. 除了介绍SFT指令数据的构建之外,还会介绍SFT指令数据的进化等

听众收益

  1. 掌握和了解大模型数据工程处理的全链路
  2. 可以看到大模型数据处理的趋势

交通指南

北京国际会议中心

Beijing International Convention Center
地址:北京市朝阳区北辰东路8号
  • 微信咨询

  • 电话咨询

    联系电话:13269078023

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手