先别急着重跑。后训练跑歪分 3 类:能力退化、风格跑偏、安全护栏松动。第 1 类要回退检查点,第 2 类改数据配比,第 3 类补偏好样本。跑 1 次后训练的算力是单次全量训练的 1/10 到 1/5,先花 2 小时定位,比盲目重跑省得多。
我接手过 1 个训歪的客服模型:回答变短了,还爱在结尾加"还有什么可以帮您"。查完发现偏好数据里 80% 的样本都以这句话结尾,模型学到的是句式,内容反而被压掉了。改数据 3 天,指标回来了。
| 表现 | 常见原因 | 先查什么 |
|---|---|---|
| 常识题答对率下降 | 学习率过大、训练轮次过多 | 跑固定 200 题对比基座 |
| 所有回答都一个腔调 | 偏好数据句式单一 | 抽 50 条看结尾句重复率 |
| 答什么都写小标题 | 奖励函数给了格式分 | 看奖励函数里的加分项 |
| 该拒答的照答 | 安全样本在偏好数据里占比过低 | 数安全类样本条数 |
| 长回答半路断掉 | 训练时最大长度设小了 | 看训练配置的 max_len |
| 同题两次答案差很远 | 采样温度偏高、KL 约束失效 | 固定温度跑 5 次比对 |
第 2 行和第 3 行最容易误判成"模型能力不行"。实际是奖励设计带了偏好,模型把拿分手段当成目标。判断办法:把奖励函数里每一项单独去掉重训 1 小步,看输出变化,变化最大的那项就是源头。
第 6 行要先排除推理侧。采样温度从 0.7 调到 0.2 再问同一题,答案稳定了,说明问题在推理参数,训练没歪。这一步 5 分钟,能省掉 1 次返工。
| 项目 | 用处 | 缺了会怎样 |
|---|---|---|
| 最近 3 个检查点 | 回退到没歪的版本 | 只能从头训 |
| 固定评测集 200 条 | 量化退化幅度 | 凭感觉判断,改错方向 |
| 训练日志 | 看 loss 与 KL 曲线 | 找不到拐点 |
| 偏好数据抽样 100 条 | 查句式与长度分布 | 改不到根上 |
| 奖励函数配置 | 看每项权重 | 无法定位刷分项 |
第 1 行要在训练时就开始存。每 200 步存 1 个,留最近 3 个,磁盘占用按模型大小乘 3 算。等到发现歪了再去找检查点,多数只剩最后 1 个。
第 3 行别只看最后的 loss。后训练的 loss 常年往下走,歪了也照样降,因为模型在讨好奖励函数。要看的是评测分数与 KL 曲线,2 条一起看,才有判断依据。
第 2 行的评测集要独立。从训练数据里切出来的题,模型见过,分数虚高。我见过 1 次,评测 92 分上线,真实问答只有 6 成答对,差在评测集与训练集重叠了 40%。
拿 200 条独立题,分别在基座、微调后、歪掉版本上各跑 1 遍,记录答对率与平均长度。3 组数字摆一起,退化是全面掉还是局部掉,一眼能看出来。全面掉 5 个点以上,按能力退化处理。
只掉某一类题也要记下来。数学题掉、写作题没动,说明新数据把某一类挤掉了;写作题掉、数学题没动,说明偏好数据里的长回答压过了短回答。
翻 loss 与 KL 曲线,找指标第一次变差的那 200 步,回退到它前 1 个检查点。回退后先跑同一套评测,确认基线回来了,再动手改数据。跳过这 1 步直接改数据,改完不知道是数据起作用还是回退起作用。
KL 系数盯住 1 个数:偏离基座的幅度。系数设得太小,模型会为了拿分跑远;设得太大,训练几乎不动。常见区间在 0.02 到 0.1,具体看任务,跑 200 步看 KL 曲线是否平稳。
风格跑偏,改数据。抽 100 条偏好样本,统计结尾句与长度分布,重复率超过 30% 的句式删掉一半,补 5 类不同问法。长度上,短答与长答按 1 比 1 混,别让模型只学一种。
格式刷分,改奖励。把"出现小标题加分"这类项去掉,换成"答案包含具体数字加分""答非所问扣分"。奖励项控制在 3 到 5 个,项太多模型会找组合漏洞。
安全护栏松动,补样本。安全类样本在偏好数据里占到 10% 以上,拒答的理由要写具体。只给"拒绝"标签不给理由,模型学到的是一律推脱,正常问题也跟着拒。
改完数据先跑 200 步验证,别直接上全量。200 步能看到方向对不对,跑 1 次 40 分钟。方向错了就换改法,别在同一份数据上反复调学习率。
先用 10% 的数据跑 200 步,看评测是否回升。回升了就放量,没回升就回到第 3 步换改法。小步验证 1 轮 40 分钟,比全量跑完再发现没用省 1 天。
修好之后把配置、数据版本、奖励函数一起打标签,存 1 份。下次再歪,直接和这个版本对比,能看出是哪一项变过。对照组留 2 个:基座和这次修好的版本。
第 2 条是评测体系的通病。评测集自己出的题,句式工整、问题完整;线上用户打 5 个字就发问。补 100 条真实提问进评测集,分数会掉 8 到 12 个点,那个数才接近真实水平。
第 5 条我调过 1 次:把安全样本从 8% 提到 25%,拒答率从 3% 涨到 19%,普通售后问题也被拒。回到 12%,拒答率落到 5%,安全测试仍能过。
第 3 条要看趋势。修好后第 1 天正常、第 3 天又开始变短,说明数据管道里还有旧样本在混入,回去查数据版本号。
再补 1 条经验:修完之后连续跑 3 天同样的评测,分数波动在 2 个点以内才算稳。波动超过 5 个点,训练没收敛,别急着上线。
上线后第 1 周把每日抽样从 50 条加到 200 条。样本多了,风格回退能早 3 到 5 天发现,改数据的窗口也宽一些。
回到问题:后训练歪了先分类,能力退化回退检查点,风格跑偏改数据分布,格式刷分改奖励函数,护栏松动补安全样本。动一次改一处,小步验证再放量,最后锁版本留对照。跳过定位直接重跑,多半会歪在第 2 个地方。
本文信息核对时间:2026-11