后训练跑歪,先做 1 件事:把现场固定住。留好当前 checkpoint、固定 1 套 100 条的评测集、把当轮的训练日志和超参存下来。现场固定之后再按 4 个方向查——偏好数据、奖励模型、学习率与批次、评测集本身。顺序别乱,从数据往上查比从超参往下试省 3 倍时间。
这个顺序是踩出来的。2025 年有 1 次 SFT 之后模型开始复读,我先去调学习率,试了 6 组参数花了 2 天,最后发现问题在一批自动生成的数据里,同 1 条问答重复了 400 遍,清掉之后第 2 轮就正常了。
4 种表现能算歪。回答开始复读同 1 句;答非所问,问 A 答 B;拒答明显变多,正常问题也回"无法回答";格式崩掉,该出表格的时候出散文。4 种里有 2 种同时出现,基本可以确定是后训练阶段的问题,跟预训练权重无关。
还有一种不算歪:回答变短了,但信息还在。这类是上下文压缩或者对齐过头,属于调参范围,不用回滚。判断办法是拿 20 条老问题重问,结论对得上就不是歪。
| 要固定的 | 怎么做 | 不留会怎样 | 耗时 |
|---|---|---|---|
| checkpoint | 保留最近 3 个 + 1 个对齐前的版本 | 想回滚没得回 | 10 分钟 |
| 评测集 | 100 条,分 5 类任务各 20 条 | 改完不知道好没好 | 半天 |
| 训练日志 | loss、梯度范数、学习率逐 step 存 | 看不出从第几步开始坏 | 5 分钟 |
| 数据快照 | 本轮用的 SFT 与偏好数据打包留档 | 复现不了问题 | 20 分钟 |
表里第 3 行最容易被跳过。日志要按 step 存,不是按 epoch。按 epoch 存的时候,你只知道"这一轮坏了",不知道坏在第 300 步还是第 3000 步,定位范围差 10 倍。
第 4 行的数据快照也别省。数据每次清洗都会变,等你回头查的时候,手上那份已经不是训练时那份了。打包留 1 份,占不了多少空间。
偏好数据的问题最隐蔽。2 个回答哪个更好,标注的人如果习惯选长的,模型很快学会"越长越好",回答开始注水。抽 50 对看 1 遍,统计被选中的那侧平均长多少字,差 50% 以上就说明标注有偏好。
还有一种:正例和负例写反了。批量导入时字段错位,模型学到的是"越差越好"。这类错误跑 100 步就能看出来,loss 不降反升,或者降到 0.1 以下(模型学会了背答案)。
奖励模型的准确率要单独测。留 200 对没进训练集的偏好样本,让奖励模型判,准确率低于 65% 就别往下走,先修奖励模型。准确率低的时候,策略模型再怎么训都是在追 1 个错的目标。
奖励模型的输出分布也要看。全部分数集中在 0.5 附近,说明它学不出差别;分数分布两极分化,说明它过拟合了训练集。两种情况都要重训,调学习率没用。
后训练的学习率比预训练小 1 到 2 个数量级,常见 1e-5 到 5e-6。用大了的典型现象是 100 步内就开始复读,loss 掉得很快然后卡住。把学习率降一半,warmup 加到总步数的 5%,多数能缓过来。
批次太小会让梯度噪声大,回答风格忽长忽短。批次加到 32 到 64,配合梯度累积,稳定很多。显存不够就减小序列长度,别减批次。
评测集自己也会出问题。100 条里如果有 20 条答案是错的,模型答对了反而扣分,你会往错的方向调。抽 20 条人工核 1 遍,标准答案错的直接剔掉。
还有 1 种情况:评测集和训练集重叠。重叠比例超过 5%,分数虚高,改什么都像在进步。用 1 个简单的相似度脚本查 1 遍,重复的换掉。
第 1 步的基线分数要记下来。没有基线,后面所有改动都无法判断好坏,只能凭感觉,凭感觉调参的结果通常是越调越远。
第 5 步的"每 100 步跑 1 次小评测"能省掉大量返工。全量跑完要 2 天,跑到一半发现掉分,2 天白费。小评测用 20 条,5 分钟出结果,够判断趋势。
把评测卡在训练流程里,不放在最后。每 100 步跑 1 次 20 条的小评测,分数掉 3 分就停,停的时候把当轮的数据和 checkpoint 标记出来。这套做法执行下来,返工次数能从每月 2 次降到 2 个月 1 次。
偏好数据进场前先做 3 个统计:正负例长度差、标注一致性、重复率。3 个数字里任何 1 个异常,先修数据再训练。这 3 个统计跑 1 遍 20 分钟,比训完再查省 2 天。
超参改动全部记录。学习率、批次、warmup、KL 系数 4 个值,每次只改 1 个,改完在表里记 1 行。1 个月之后回头看这张表,能看出哪个参数最敏感,下次直接从那调。
最后留 1 个习惯:每版模型上线前留 1 份 20 条的"回归集",只放老问题,不换不删。新版跑完跟老版对比,任何 1 条结论变了都要写出原因,写不出来的就是退化。
第 5 条是最常见的返工原因。两样一起改,好了不知道哪项起的作用,坏了也不知道该回退哪项。1 次改 1 项,慢一点但每步都有结论。
第 6 条在多人协作时特别容易出。两个人各跑一遍,结果不一样,查半天发现是数据版本不同。把数据快照的哈希值写进日志,对一下就知道。
第 1 条的"单项不掉"比总分要紧。总分涨 3 分但翻译类掉 10 分,说明修的过程中牺牲了 1 项能力,上线后会被用户发现。分项看,才能发现这种交换。
第 4 条的盲测要真盲。3 个人各看 30 组,不知道哪组是哪个版本,只投票。知道版本的那不叫盲测,叫找证据。
还有 1 个收尾动作:修完之后把这次的排查路径写成 1 页纸,写清现象、查到哪一步、改了哪项、结果如何。下一批人接手,照着这页纸走,能省掉 1 天的摸索,也能避免同一个坑踩第 2 次。
本文信息核对时间:2026-11