传统后训练往往依赖研究员反复构造数据、启动训练、跑评测并排查失败样本，研发周期长，实验经验也难以持续复用。本次分享以 StartLux-Decision 为案例，拆解 Auto Research 如何将数据构建、SFT、评测、failure mining、数据重构与再训练串成闭环，并让 AI 参与实验执行和下一轮数据策略设计。演讲还将结合 StartLux-27B 的 Agent 后训练实践，讨论同一套方法如何迁移到不同能力塑造任务。StartLux-Decision 从方向确定到首轮研发验证约 3 天，27B 在 Decision Index 0.2.1 中得分 63.88，并在 38 项测试中有 31 项高于 Jev 1.13。

演讲提纲：

1. 为什么后训练的瓶颈不再只是“训练一次模型”
   • 从传统 SFT 流程出发，分析真实模型研发中时间主要消耗在哪里：数据构建、实验设计、训练、评测、失败样本分析与重新训练
   • 为什么单次 benchmark 提升并不等于能力真正形成：数据分布、评测过拟合、能力迁移与回归问题
   • 将后训练重新定义为持续运行的研究闭环，而不是一次 Training Job
2. Auto Research：让 AI 进入后训练研发闭环
   • Auto Research 的基本流程：目标与边界设定 → 数据构建 → SFT/RL→ Eval → Failure Mining → 数据重构 → 再训练 → 再评测
   • AI 如何参与实验假设生成、数据生产与筛选、训练任务启动、评测结果分析和下一轮实验设计
   • 人类研究员保留哪些职责：能力目标、评测标准、关键取舍与最终验收
   • 如何避免自动化实验陷入 benchmark chasing、数据污染和局部指标优化
3. 案例一：StartLux-27B——从失败轨迹中塑造 Agent 能力
   • 面向真实工具环境构造 Agent 训练数据，而不是只生成静态问答
   • 从任务理解、工具选择、多步执行、结果验证等环节拆解失败轨迹，并将 failure pattern 转化为下一轮训练数据
   • 讨论 Think / NoThink、工具调用、Memory 等不同能力之间的耦合，以及如何通过分项 Eval 判断瓶颈到底来自数据、模型还是推理策略
   • 展示 Auto Research 在 Agent 后训练中的实际迭代方式和最终评测结果
4. 案例二：StartLux-Decision——如何把生成模型训成决策模型
   • 为什么高频 Agent 决策不一定需要生成一段自然语言，而可以直接学习“当前状态 → 候选项概率”的映射
   • Choice、Yes/No、Score 等 typed decision 数据如何统一进入训练与评测体系
   • 从 state、候选项、目标标签到概率输出，拆解决策能力的数据表示和训练目标
   • 如何利用 Eval 与 Failure Mining 找出模型在语言理解、分类检索、工具自动化、知识推理等不同能力上的缺口，并定向重构数据
   • 最终 StartLux-Decision-27B 在 Decision Index 0.2.1 获得 63.88，38 项测试中 31 项高于 Jev 1.13；同时讨论为什么不能只看总分，还要看能力结构和真实任务表现
5. 从两个案例总结一套可复用的后训练方法
   • 如何设计一套真正能驱动训练的数据—评测闭环
   • 如何把“模型哪里不好”转化成可执行的数据生产任务，而不是依赖研究员凭经验调参
   • 哪些环节适合交给 AI，哪些环节仍然必须由研究员控制
   • Auto Research 最终改变的不是某一种训练算法，而是模型研发的实验速度、反馈密度和迭代方式

听众收益：

• 建立一套可落地的后训练研发闭环：理解如何把数据构建、SFT/RL、Eval、Failure Mining、数据重构与再训练连成持续迭代系统
• 学会从评测结果反推训练问题：如何把 benchmark 和真实任务中的失败进一步拆成数据问题、能力问题和训练策略问题，并转化成下一轮实验
• 理解 AI 可以接管哪些模型研发工作：哪些环节适合交给 Agent 自动执行，哪些关键决策仍需要研究员控制，以及如何设计数据、评测和实验基础设施支撑 Auto Research

电商广告模型在规模化过程中面临反馈噪声大、显式偏好难构造、长短期兴趣建模复杂，以及语义共享不足、长期价值难对齐等问题。

本演讲以电商广告为背景，沿判别式增强与端到端生成式两条路径，介绍模型能力如何借助后训练逐步演进。判别式侧，通过偏好优化引入线上经验作为动态参考、用双学习器内部共演化替代外部奖励，并以扩散建模融合长短期兴趣、以生成式上下文理解增强排序表示，兼顾模型效果、值准与推理延迟。生成式侧，围绕自回归商品生成的后训练价值对齐，处理低信噪比反馈下的策略漂移与 Reward Hacking。多项工作在超百亿规模工业数据和多天线上 A/B 中取得点击率、eCPM 等指标的稳定正向。演讲同时讨论后训练方法按反馈可信度的选型逻辑，以及模型与系统的职责边界。

演讲提纲

1. 背景与问题
   • 电商广告决策链路与规模化后暴露的模型能力瓶颈
   • 判别式增强与端到端生成式两条并行路径，及其相互吸收关系
2. 判别式模型的后训练增强
   • 训练目标优化：以线上已部署模型经验作为动态偏好参考；用独立输出层解耦概率估计与偏好优化，守住 pCTR 值准
   • 自进化优化：双学习器共演化产生内部偏好信号，去除外部奖励依赖
   • 表示能力增强：条件扩散融合长短期兴趣；生成式上下文理解统一静态、动态、个性化与群体级上下文，排序头仍输出点式概率
3. 端到端生成式的后训练价值对齐
   • 自回归商品生成的后训练阶段问题：低信噪比反馈、策略分布漂移、Reward Hacking
   • 意图感知重采样 + 行为先验锚定，按分布偏移动态调节约束强度
4. 方法论与工程实践
   • 后训练方法选型：按监督、偏好、奖励信号的可信度与前提条件选择，可信 Evaluator 是首要门槛之一
   • 工程代价：推理延迟、更新管线维护、离在线一致性
   • 踩坑复盘：多目标权衡、实验反馈泄漏导致对照组被动变强、评估污染导致小流量增益被低估
   • 语义编码与长期价值对齐的探索方向、职责边界

听众受益

• 判断存量决策系统适合从训练目标、表示能力还是决策接口切入演进，理解判别式增强与端到端生成式的分界和相互吸收关系 
• 掌握在提升模型效果时兼顾 pCTR 值准、在线延迟和更新管线维护成本的具体机制与设计取舍 
• 获得一套按监督、偏好、奖励信号条件选择后训练方法的框架，并能识别多目标权衡、离在线不一致、实验反馈泄漏与评估污染等实践风险 

大模型后训练面临训练与推理衔接复杂、显存占用高及计算路径差异影响策略优化等问题。本次分享介绍 AReno 训推一体架构的设计与技术选型，通过共享参数与计算组件，统一支持监督微调、偏好优化和在线强化学习。重点解析 MoE 路由记录与重放、变长样本打包、分页缓存，以及低比特优化器、QLoRA 与 MST 分块重计算的组合方案。在 DGX Spark 上，Ling-3.0-tiny 模型 16K 上下文实测中，QLoRA 结合 MST 将训练峰值显存从 37.785 GiB 降至 11.973 GiB，降低 68.31%。同时介绍 AReno Flow 如何贯通任务规划、运行诊断与服务部署，为有限资源下的大模型后训练提供工程参考。

演讲提纲

1. 后训练瓶颈与架构选型
   • 拆解采样、评分、数据组织、训练与阶段切换，以完整迭代耗时和阶段峰值显存定位瓶颈
   • 区分 GPU 资源共置与参数共享，介绍生成、更新分阶段执行及共享参数原地更新机制
   • 通过统一训练序列与损失入口，支持 SFT、DPO、GRPO/GSPO 和 PPO，复用底层执行能力
2. 训推一致性与 MoE 路由重放
   • 分析计算路径、累加精度与专家选择差异如何影响 logprob、概率比及策略更新
   • 采样时记录每个 token、每层的专家索引，训练时重放相同选择，并根据当前得分重算路由权重
   • 减少重复 top-k 造成的路由分叉，同时保留梯度传播，说明该方法的一致性边界
3. 训练与推理执行优化
   • 训练侧采用变长样本打包、注意力边界隔离、奖励与损失掩码对齐，结合微批和激活重计算控制开销
   • 推理侧结合分页 KV 缓存、连续批处理与批量分桶图重放，提高资源复用效率
   • 通过 TP/DP 协作及归一化、门控等算子融合，减少中间张量与重复访存
4. 显存优化方法与实测案例
   • 按显存来源组合选型：LoRA 减少可训练状态，QLoRA 压缩基座权重，MST 通过反向分块重计算降低长序列中间张量峰值
   • 优化器状态按桶卸载，结合锁页主存、双桶预取与异步写回，复用 GPU 工作区
   • DGX Spark 上，Ling-3.0-tiny 短序列实验中，QLoRA 较 LoRA 训练峰值显存降低 48.61%；16K 上下文下，QLoRA 叠加 MST 后从 37.785 GiB 降至 11.973 GiB，降低 68.31%
5. AReno Flow 工程闭环
   • 从自然语言需求生成可编辑的模型、算法、资源与执行配置
   • 以训练阶段事件驱动耗时、指标、样本和日志诊断，保留配置与执行记录以支持复现
   • 管理完整模型、适配器及量化元数据，贯通训练产物保存、恢复与服务部署

听众收益

• 形成训推一体架构的选型判断
  • 理解资源共置、参数共享与统一执行接口的适用边界，结合现有技术栈，评估后训练系统的改造路径与成本
• 掌握显存优化的组合方法
  • 按权重、优化器状态和中间张量定位瓶颈，理解 QLoRA、MST 及状态卸载的收益与代价，制定兼顾容量和迭代效率的方案
• 建立后训练系统的诊断思路
  • 掌握 MoE 路由重放、训推概率差异分析及阶段指标关联方法，提高策略更新异常、显存峰值和性能瓶颈的定位效率