大模型后训练歪了要不要重跑?先测评估集有没有被污染

10分钟前发布

先别急着重跑。后训练跑歪分 3 类:能力退化、风格跑偏、安全护栏松动。第 1 类要回退检查点,第 2 类改数据配比,第 3 类补偏好样本。跑 1 次后训练的算力是单次全量训练的 1/10 到 1/5,先花 2 小时定位,比盲目重跑省得多。

我接手过 1 个训歪的客服模型:回答变短了,还爱在结尾加"还有什么可以帮您"。查完发现偏好数据里 80% 的样本都以这句话结尾,模型学到的是句式,内容反而被压掉了。改数据 3 天,指标回来了。

先分清歪在哪一类

表现常见原因先查什么
常识题答对率下降学习率过大、训练轮次过多跑固定 200 题对比基座
所有回答都一个腔调偏好数据句式单一抽 50 条看结尾句重复率
答什么都写小标题奖励函数给了格式分看奖励函数里的加分项
该拒答的照答安全样本在偏好数据里占比过低数安全类样本条数
长回答半路断掉训练时最大长度设小了看训练配置的 max_len
同题两次答案差很远采样温度偏高、KL 约束失效固定温度跑 5 次比对

第 2 行和第 3 行最容易误判成"模型能力不行"。实际是奖励设计带了偏好,模型把拿分手段当成目标。判断办法:把奖励函数里每一项单独去掉重训 1 小步,看输出变化,变化最大的那项就是源头。

第 6 行要先排除推理侧。采样温度从 0.7 调到 0.2 再问同一题,答案稳定了,说明问题在推理参数,训练没歪。这一步 5 分钟,能省掉 1 次返工。

桌面上的曲线图与铅笔

要准备什么

项目用处缺了会怎样
最近 3 个检查点回退到没歪的版本只能从头训
固定评测集 200 条量化退化幅度凭感觉判断,改错方向
训练日志看 loss 与 KL 曲线找不到拐点
偏好数据抽样 100 条查句式与长度分布改不到根上
奖励函数配置看每项权重无法定位刷分项

第 1 行要在训练时就开始存。每 200 步存 1 个,留最近 3 个,磁盘占用按模型大小乘 3 算。等到发现歪了再去找检查点,多数只剩最后 1 个。

第 3 行别只看最后的 loss。后训练的 loss 常年往下走,歪了也照样降,因为模型在讨好奖励函数。要看的是评测分数与 KL 曲线,2 条一起看,才有判断依据。

第 2 行的评测集要独立。从训练数据里切出来的题,模型见过,分数虚高。我见过 1 次,评测 92 分上线,真实问答只有 6 成答对,差在评测集与训练集重叠了 40%。

怎么办:5 个步骤

第 1 步:用固定评测集量出退化幅度

拿 200 条独立题,分别在基座、微调后、歪掉版本上各跑 1 遍,记录答对率与平均长度。3 组数字摆一起,退化是全面掉还是局部掉,一眼能看出来。全面掉 5 个点以上,按能力退化处理。

只掉某一类题也要记下来。数学题掉、写作题没动,说明新数据把某一类挤掉了;写作题掉、数学题没动,说明偏好数据里的长回答压过了短回答。

第 2 步:回退到拐点前

翻 loss 与 KL 曲线,找指标第一次变差的那 200 步,回退到它前 1 个检查点。回退后先跑同一套评测,确认基线回来了,再动手改数据。跳过这 1 步直接改数据,改完不知道是数据起作用还是回退起作用。

KL 系数盯住 1 个数:偏离基座的幅度。系数设得太小,模型会为了拿分跑远;设得太大,训练几乎不动。常见区间在 0.02 到 0.1,具体看任务,跑 200 步看 KL 曲线是否平稳。

第 3 步:改数据或改奖励

风格跑偏,改数据。抽 100 条偏好样本,统计结尾句与长度分布,重复率超过 30% 的句式删掉一半,补 5 类不同问法。长度上,短答与长答按 1 比 1 混,别让模型只学一种。

格式刷分,改奖励。把"出现小标题加分"这类项去掉,换成"答案包含具体数字加分""答非所问扣分"。奖励项控制在 3 到 5 个,项太多模型会找组合漏洞。

安全护栏松动,补样本。安全类样本在偏好数据里占到 10% 以上,拒答的理由要写具体。只给"拒绝"标签不给理由,模型学到的是一律推脱,正常问题也跟着拒。

改完数据先跑 200 步验证,别直接上全量。200 步能看到方向对不对,跑 1 次 40 分钟。方向错了就换改法,别在同一份数据上反复调学习率。

白板前的空椅子与便签

第 4 步:小步验证再放量

先用 10% 的数据跑 200 步,看评测是否回升。回升了就放量,没回升就回到第 3 步换改法。小步验证 1 轮 40 分钟,比全量跑完再发现没用省 1 天。

第 5 步:锁版本并留对照

修好之后把配置、数据版本、奖励函数一起打标签,存 1 份。下次再歪,直接和这个版本对比,能看出是哪一项变过。对照组留 2 个:基座和这次修好的版本。

卡在哪:6 个常见卡点

  1. 回退后还是歪。原因:回退的检查点已经在歪的区间里。解:再往前退 1 个,用评测集确认。
  2. 评测回升但线上差。原因:评测集与真实问题分布不一致。解:从线上抽 100 条真实提问补进评测集。
  3. 改完数据没变化。原因:改动量太小,被原有分布盖住。解:改动样本占到 20% 以上再看效果。
  4. 训练速度突然变慢。原因:序列长度变长、显存吃满。解:截断到 4096 token,或开梯度累积。
  5. 拒答率飙升。原因:安全样本比例过高,或拒答样本理由太笼统。解:调到 10% 到 15%,理由写具体。
  6. 同 1 个问题答得忽好忽坏。原因:采样温度高、缺 KL 约束。解:温度降到 0.3,KL 系数加上。

第 2 条是评测体系的通病。评测集自己出的题,句式工整、问题完整;线上用户打 5 个字就发问。补 100 条真实提问进评测集,分数会掉 8 到 12 个点,那个数才接近真实水平。

第 5 条我调过 1 次:把安全样本从 8% 提到 25%,拒答率从 3% 涨到 19%,普通售后问题也被拒。回到 12%,拒答率落到 5%,安全测试仍能过。

怎么核验修好了

  1. 3 套评测都跑:能力、风格、安全。3 组分数回到或超过歪之前的水平。
  2. 抽 50 条真实提问盲评。把修好版本与基座的回答混排,让 3 个人挑更好的那条。
  3. 连续观察 7 天线上日志。拒答率、平均长度、投诉关键词 3 项都平稳,才算收口。

第 3 条要看趋势。修好后第 1 天正常、第 3 天又开始变短,说明数据管道里还有旧样本在混入,回去查数据版本号。

再补 1 条经验:修完之后连续跑 3 天同样的评测,分数波动在 2 个点以内才算稳。波动超过 5 个点,训练没收敛,别急着上线。

上线后第 1 周把每日抽样从 50 条加到 200 条。样本多了,风格回退能早 3 到 5 天发现,改数据的窗口也宽一些。

屏幕前的键盘与台灯

回到问题:后训练歪了先分类,能力退化回退检查点,风格跑偏改数据分布,格式刷分改奖励函数,护栏松动补安全样本。动一次改一处,小步验证再放量,最后锁版本留对照。跳过定位直接重跑,多半会歪在第 2 个地方。

本文信息核对时间:2026-11