专题演讲嘉宾：章鹏

当模型直接输出选择、判断、评分或抽取结果时，后训练应该优化什么？从生成式大模型到 System-1 模型，需要改变的，除了输出接口，还有数据组织、监督目标、奖励设计与评测方式。

本次分享以 LingDT-Decision 为案例，围绕 System-1 模型的后训练展开三个核心问题：如何通过多任务学习形成可复用的语言理解能力；如何引入强化学习，改善任务表现与决策行为；如何利用 mOPD 蒸馏整合能力，并控制训练成本与能力退化。分享将结合分类、多选与信息抽取等任务，介绍训练方案的设计依据、实验取舍与失败案例，并讨论如何验证模型学到的是可迁移的任务能力，而非特定数据集的答题模式。希望为开发者提供一套从能力目标、数据与训练，到评测验证的 System-1 模型研发思路。

演讲提纲

1. 从通用大模型到 System-1，后训练究竟要改变什么？
   • 从输入、输出与计算方式出发，明确模型的能力目标；讨论哪些能力可以复用基座，哪些需要新的监督与训练，以及如何选择训练路线
2. 多任务学习：如何把不同任务训进同一个模型？
   • 围绕分类、多选、评分与 Slotting，介绍任务表示、数据配比和训练目标的组织方式；分析任务之间何时互补、何时干扰，以及如何验证共享训练的收益
3. 强化学习：直接给结果的模型，应该如何设计奖励？
   • 讨论策略输出、采样与奖励的定义，单项正确率和业务目标之间的关系，以及如何判断 RL 相比继续做 SFT 带来了什么收益。结合实验分析奖励偏差、过拟合与能力回归
4. mOPD：如何把已有能力有效蒸馏进目标模型？
   • 介绍 mOPD 在整体训练流程中的角色、教师与训练样本的组织，以及蒸馏目标的选择；讨论能力保留、教师偏差和训练效率之间的取舍
5. 如何证明模型变强了？
   • 通过单任务与多任务、SFT 与 RL、蒸馏前后的对照，区分方法收益与数据收益；同时检查未见任务泛化、概率质量、原有能力回归及实际推理开销

​听众收益

• 理解 System-1 模型后训练的关键设计问题与方法选择
• 获得组织多任务训练、奖励和蒸馏信号的实践思路
• 学会通过对照实验判断能力提升的来源、代价与适用边界