大模型后训练歪了怎么办?先看奖励模型再看数据

51分钟前发布

后训练跑歪,先做 1 件事:把现场固定住。留好当前 checkpoint、固定 1 套 100 条的评测集、把当轮的训练日志和超参存下来。现场固定之后再按 4 个方向查——偏好数据、奖励模型、学习率与批次、评测集本身。顺序别乱,从数据往上查比从超参往下试省 3 倍时间。

这个顺序是踩出来的。2025 年有 1 次 SFT 之后模型开始复读,我先去调学习率,试了 6 组参数花了 2 天,最后发现问题在一批自动生成的数据里,同 1 条问答重复了 400 遍,清掉之后第 2 轮就正常了。

什么算"歪了"

4 种表现能算歪。回答开始复读同 1 句;答非所问,问 A 答 B;拒答明显变多,正常问题也回"无法回答";格式崩掉,该出表格的时候出散文。4 种里有 2 种同时出现,基本可以确定是后训练阶段的问题,跟预训练权重无关。

还有一种不算歪:回答变短了,但信息还在。这类是上下文压缩或者对齐过头,属于调参范围,不用回滚。判断办法是拿 20 条老问题重问,结论对得上就不是歪。

先固定现场

要固定的怎么做不留会怎样耗时
checkpoint保留最近 3 个 + 1 个对齐前的版本想回滚没得回10 分钟
评测集100 条,分 5 类任务各 20 条改完不知道好没好半天
训练日志loss、梯度范数、学习率逐 step 存看不出从第几步开始坏5 分钟
数据快照本轮用的 SFT 与偏好数据打包留档复现不了问题20 分钟

表里第 3 行最容易被跳过。日志要按 step 存,不是按 epoch。按 epoch 存的时候,你只知道"这一轮坏了",不知道坏在第 300 步还是第 3000 步,定位范围差 10 倍。

第 4 行的数据快照也别省。数据每次清洗都会变,等你回头查的时候,手上那份已经不是训练时那份了。打包留 1 份,占不了多少空间。

机架上的服务器指示灯

按什么顺序查

第一步:查偏好数据

偏好数据的问题最隐蔽。2 个回答哪个更好,标注的人如果习惯选长的,模型很快学会"越长越好",回答开始注水。抽 50 对看 1 遍,统计被选中的那侧平均长多少字,差 50% 以上就说明标注有偏好。

还有一种:正例和负例写反了。批量导入时字段错位,模型学到的是"越差越好"。这类错误跑 100 步就能看出来,loss 不降反升,或者降到 0.1 以下(模型学会了背答案)。

第二步:查奖励模型

奖励模型的准确率要单独测。留 200 对没进训练集的偏好样本,让奖励模型判,准确率低于 65% 就别往下走,先修奖励模型。准确率低的时候,策略模型再怎么训都是在追 1 个错的目标。

奖励模型的输出分布也要看。全部分数集中在 0.5 附近,说明它学不出差别;分数分布两极分化,说明它过拟合了训练集。两种情况都要重训,调学习率没用。

第三步:查学习率与批次

后训练的学习率比预训练小 1 到 2 个数量级,常见 1e-5 到 5e-6。用大了的典型现象是 100 步内就开始复读,loss 掉得很快然后卡住。把学习率降一半,warmup 加到总步数的 5%,多数能缓过来。

批次太小会让梯度噪声大,回答风格忽长忽短。批次加到 32 到 64,配合梯度累积,稳定很多。显存不够就减小序列长度,别减批次。

第四步:查评测集

评测集自己也会出问题。100 条里如果有 20 条答案是错的,模型答对了反而扣分,你会往错的方向调。抽 20 条人工核 1 遍,标准答案错的直接剔掉。

还有 1 种情况:评测集和训练集重叠。重叠比例超过 5%,分数虚高,改什么都像在进步。用 1 个简单的相似度脚本查 1 遍,重复的换掉。

办公桌上的显示器与键盘

修复流程怎么走

  1. 回滚到对齐前的 checkpoint,跑 1 遍评测,拿到基线分数。
  2. 清洗偏好数据,剔掉长度差超过 50% 的样本,重新抽 50 对人工看。
  3. 重训奖励模型,测准确率,过 65% 再进下一步。
  4. 学习率降到原来的一半,批次加到 32 以上,先跑 200 步看曲线。
  5. 200 步没问题再跑全量,每 100 步跑 1 次小评测,掉分就停。

第 1 步的基线分数要记下来。没有基线,后面所有改动都无法判断好坏,只能凭感觉,凭感觉调参的结果通常是越调越远。

第 5 步的"每 100 步跑 1 次小评测"能省掉大量返工。全量跑完要 2 天,跑到一半发现掉分,2 天白费。小评测用 20 条,5 分钟出结果,够判断趋势。

怎么防止下次再歪

把评测卡在训练流程里,不放在最后。每 100 步跑 1 次 20 条的小评测,分数掉 3 分就停,停的时候把当轮的数据和 checkpoint 标记出来。这套做法执行下来,返工次数能从每月 2 次降到 2 个月 1 次。

偏好数据进场前先做 3 个统计:正负例长度差、标注一致性、重复率。3 个数字里任何 1 个异常,先修数据再训练。这 3 个统计跑 1 遍 20 分钟,比训完再查省 2 天。

超参改动全部记录。学习率、批次、warmup、KL 系数 4 个值,每次只改 1 个,改完在表里记 1 行。1 个月之后回头看这张表,能看出哪个参数最敏感,下次直接从那调。

最后留 1 个习惯:每版模型上线前留 1 份 20 条的"回归集",只放老问题,不换不删。新版跑完跟老版对比,任何 1 条结论变了都要写出原因,写不出来的就是退化。

卡在哪

  1. 回滚之后还是歪。解:检查数据管线有没有缓存旧数据,清掉重跑。
  2. 奖励模型准确率上不去。解:看标注一致性,同一对样本 2 个人标的结果差太多就重标。
  3. loss 正常但回答变短。解:查对齐系数,KL 压太狠,放宽 30% 再看。
  4. 拒答变多。解:把"必须拒答"的样本占比降到 10% 以内,其余靠规则过滤。
  5. 修好 1 个问题又冒出另 1 个。解:1 次只改 1 个变量,别同时调数据和超参。
  6. 复现不出来。解:固定随机种子,关掉数据打乱,用同 1 份数据快照跑。

第 5 条是最常见的返工原因。两样一起改,好了不知道哪项起的作用,坏了也不知道该回退哪项。1 次改 1 项,慢一点但每步都有结论。

第 6 条在多人协作时特别容易出。两个人各跑一遍,结果不一样,查半天发现是数据版本不同。把数据快照的哈希值写进日志,对一下就知道。

白板前的空白纸与马克笔

怎么确认修好了

  1. 100 条评测集分数回到基线以上,5 类任务没有单项掉超过 5 分。
  2. 20 条老问题重问,回答的结论和修之前对得上。
  3. 拿 10 条超长输入试,不在中途断掉或者复读。
  4. 人工盲测 30 组,胜率超过 55%。

第 1 条的"单项不掉"比总分要紧。总分涨 3 分但翻译类掉 10 分,说明修的过程中牺牲了 1 项能力,上线后会被用户发现。分项看,才能发现这种交换。

第 4 条的盲测要真盲。3 个人各看 30 组,不知道哪组是哪个版本,只投票。知道版本的那不叫盲测,叫找证据。

还有 1 个收尾动作:修完之后把这次的排查路径写成 1 页纸,写清现象、查到哪一步、改了哪项、结果如何。下一批人接手,照着这页纸走,能省掉 1 天的摸索,也能避免同一个坑踩第 2 次。

本文信息核对时间:2026-11