传统后训练往往依赖研究员反复构造数据、启动训练、跑评测并排查失败样本,研发周期长,实验经验也难以持续复用。本次分享以 StartLux-Decision 为案例,拆解 Auto Research 如何将数据构建、SFT、评测、failure mining、数据重构与再训练串成闭环,并让 AI 参与实验执行和下一轮数据策略设计。演讲还将结合 StartLux-27B 的 Agent 后训练实践,讨论同一套方法如何迁移到不同能力塑造任务。StartLux-Decision 从方向确定到首轮研发验证约 3 天,27B 在 Decision Index 0.2.1 中得分 63.88,并在 38 项测试中有 31 项高于 Jev 1.13。
演讲提纲:
- 为什么后训练的瓶颈不再只是“训练一次模型”
- 从传统 SFT 流程出发,分析真实模型研发中时间主要消耗在哪里:数据构建、实验设计、训练、评测、失败样本分析与重新训练
- 为什么单次 benchmark 提升并不等于能力真正形成:数据分布、评测过拟合、能力迁移与回归问题
- 将后训练重新定义为持续运行的研究闭环,而不是一次 Training Job
- Auto Research:让 AI 进入后训练研发闭环
- Auto Research 的基本流程:目标与边界设定 → 数据构建 → SFT/RL→ Eval → Failure Mining → 数据重构 → 再训练 → 再评测
- AI 如何参与实验假设生成、数据生产与筛选、训练任务启动、评测结果分析和下一轮实验设计
- 人类研究员保留哪些职责:能力目标、评测标准、关键取舍与最终验收
- 如何避免自动化实验陷入 benchmark chasing、数据污染和局部指标优化
- 案例一:StartLux-27B——从失败轨迹中塑造 Agent 能力
- 面向真实工具环境构造 Agent 训练数据,而不是只生成静态问答
- 从任务理解、工具选择、多步执行、结果验证等环节拆解失败轨迹,并将 failure pattern 转化为下一轮训练数据
- 讨论 Think / NoThink、工具调用、Memory 等不同能力之间的耦合,以及如何通过分项 Eval 判断瓶颈到底来自数据、模型还是推理策略
- 展示 Auto Research 在 Agent 后训练中的实际迭代方式和最终评测结果
- 案例二:StartLux-Decision——如何把生成模型训成决策模型
- 为什么高频 Agent 决策不一定需要生成一段自然语言,而可以直接学习“当前状态 → 候选项概率”的映射
- Choice、Yes/No、Score 等 typed decision 数据如何统一进入训练与评测体系
- 从 state、候选项、目标标签到概率输出,拆解决策能力的数据表示和训练目标
- 如何利用 Eval 与 Failure Mining 找出模型在语言理解、分类检索、工具自动化、知识推理等不同能力上的缺口,并定向重构数据
- 最终 StartLux-Decision-27B 在 Decision Index 0.2.1 获得 63.88,38 项测试中 31 项高于 Jev 1.13;同时讨论为什么不能只看总分,还要看能力结构和真实任务表现
- 从两个案例总结一套可复用的后训练方法
- 如何设计一套真正能驱动训练的数据—评测闭环
- 如何把“模型哪里不好”转化成可执行的数据生产任务,而不是依赖研究员凭经验调参
- 哪些环节适合交给 AI,哪些环节仍然必须由研究员控制
- Auto Research 最终改变的不是某一种训练算法,而是模型研发的实验速度、反馈密度和迭代方式
听众收益:
- 建立一套可落地的后训练研发闭环:理解如何把数据构建、SFT/RL、Eval、Failure Mining、数据重构与再训练连成持续迭代系统
- 学会从评测结果反推训练问题:如何把 benchmark 和真实任务中的失败进一步拆成数据问题、能力问题和训练策略问题,并转化成下一轮实验
- 理解 AI 可以接管哪些模型研发工作:哪些环节适合交给 Agent 自动执行,哪些关键决策仍需要研究员控制,以及如何设计数据、评测和实验基础设施支撑 Auto Research