专题演讲嘉宾：郭权玮

传统后训练往往依赖研究员反复构造数据、启动训练、跑评测并排查失败样本，研发周期长，实验经验也难以持续复用。本次分享以 StartLux-Decision 为案例，拆解 Auto Research 如何将数据构建、SFT、评测、failure mining、数据重构与再训练串成闭环，并让 AI 参与实验执行和下一轮数据策略设计。演讲还将结合 StartLux-27B 的 Agent 后训练实践，讨论同一套方法如何迁移到不同能力塑造任务。StartLux-Decision 从方向确定到首轮研发验证约 3 天，27B 在 Decision Index 0.2.1 中得分 63.88，并在 38 项测试中有 31 项高于 Jev 1.13。

演讲提纲：

1. 为什么后训练的瓶颈不再只是“训练一次模型”
   • 从传统 SFT 流程出发，分析真实模型研发中时间主要消耗在哪里：数据构建、实验设计、训练、评测、失败样本分析与重新训练
   • 为什么单次 benchmark 提升并不等于能力真正形成：数据分布、评测过拟合、能力迁移与回归问题
   • 将后训练重新定义为持续运行的研究闭环，而不是一次 Training Job
2. Auto Research：让 AI 进入后训练研发闭环
   • Auto Research 的基本流程：目标与边界设定 → 数据构建 → SFT/RL→ Eval → Failure Mining → 数据重构 → 再训练 → 再评测
   • AI 如何参与实验假设生成、数据生产与筛选、训练任务启动、评测结果分析和下一轮实验设计
   • 人类研究员保留哪些职责：能力目标、评测标准、关键取舍与最终验收
   • 如何避免自动化实验陷入 benchmark chasing、数据污染和局部指标优化
3. 案例一：StartLux-27B——从失败轨迹中塑造 Agent 能力
   • 面向真实工具环境构造 Agent 训练数据，而不是只生成静态问答
   • 从任务理解、工具选择、多步执行、结果验证等环节拆解失败轨迹，并将 failure pattern 转化为下一轮训练数据
   • 讨论 Think / NoThink、工具调用、Memory 等不同能力之间的耦合，以及如何通过分项 Eval 判断瓶颈到底来自数据、模型还是推理策略
   • 展示 Auto Research 在 Agent 后训练中的实际迭代方式和最终评测结果
4. 案例二：StartLux-Decision——如何把生成模型训成决策模型
   • 为什么高频 Agent 决策不一定需要生成一段自然语言，而可以直接学习“当前状态 → 候选项概率”的映射
   • Choice、Yes/No、Score 等 typed decision 数据如何统一进入训练与评测体系
   • 从 state、候选项、目标标签到概率输出，拆解决策能力的数据表示和训练目标
   • 如何利用 Eval 与 Failure Mining 找出模型在语言理解、分类检索、工具自动化、知识推理等不同能力上的缺口，并定向重构数据
   • 最终 StartLux-Decision-27B 在 Decision Index 0.2.1 获得 63.88，38 项测试中 31 项高于 Jev 1.13；同时讨论为什么不能只看总分，还要看能力结构和真实任务表现
5. 从两个案例总结一套可复用的后训练方法
   • 如何设计一套真正能驱动训练的数据—评测闭环
   • 如何把“模型哪里不好”转化成可执行的数据生产任务，而不是依赖研究员凭经验调参
   • 哪些环节适合交给 AI，哪些环节仍然必须由研究员控制
   • Auto Research 最终改变的不是某一种训练算法，而是模型研发的实验速度、反馈密度和迭代方式

听众收益：

• 建立一套可落地的后训练研发闭环：理解如何把数据构建、SFT/RL、Eval、Failure Mining、数据重构与再训练连成持续迭代系统
• 学会从评测结果反推训练问题：如何把 benchmark 和真实任务中的失败进一步拆成数据问题、能力问题和训练策略问题，并转化成下一轮实验
• 理解 AI 可以接管哪些模型研发工作：哪些环节适合交给 Agent 自动执行，哪些关键决策仍需要研究员控制，以及如何设计数据、评测和实验基础设施支撑 Auto Research