大模型后训练歪了怎么办?先看 4 个指标再决定回滚

4小时前发布

结论先给:后训练把模型训歪了,先别从头重跑。按 4 个指标定位坏在哪一段,多数情况从 checkpoint 回滚加调整数据配比就能修,1 到 3 天能回到基线。真正需要重训的比例不高,我处理的 8 次里有 6 次是回滚解决的。

2026 年 7 月遇到 1 例:一个 7B 模型后训练完,用户问什么它都在末尾加一句反问。客户以为是模型能力问题,准备重跑全流程。我们查了训练日志,发现指令数据里有 1 批 2000 条样本带反问结尾,占全量 4%,模型把这个句式学成了默认动作。

先确认歪在哪:4 个指标

  1. 指令遵循率。取 100 条带明确格式要求的指令,看输出格式对得上几条。低于 85 条就算歪。
  2. 格式崩溃率。看输出有没有出现重复段落、未闭合的列表、混入的标记符号。100 条里超过 5 条要查。
  3. 知识遗忘。用基座模型能答对的 200 道客观题,后训练后掉超过 8 分说明压过了原有能力。
  4. 长度失控。同一批问题的平均输出长度与基座对比,涨 50% 以上或掉 40% 以上都要看。

4 个指标里,第 3 个最容易被忽略。指令微调的学习率设高了,模型会把预训练学到的知识压掉一部分,表现是回答变短、语气变顺从,但答错率上升。这类问题看不出来,只能靠题库对分数。

我一般把 4 个指标做成 1 张表,每次后训练都填 1 行。跑过 6 轮之后,哪一列开始波动,一眼能看出来。没有这张表的时候,全靠主观感觉,客户说"感觉变笨了",你连从哪查都不知道。

要准备什么

材料怎么留用途
checkpoint每 100 到 200 步存 1 次,保留最近 5 个回滚到没坏的那一步
评测集200 道客观题,固定不换量化偏离幅度
训练日志loss、学习率、梯度范数逐 step 记录找异常发生的位置
数据版本每次改动记日期与样本数定位是哪批数据带进来的

表里第 4 行最容易被省掉。数据是分批加的,改一版没记版本号,出问题时说不清是哪批带进来的。我现在的做法是文件名带日期和样本数,比如 0715-2000 条,配合 1 张变更表,2 分钟能定位。

机房机架前的椅子与笔记本

怎么定位到具体一段

定位走 3 步,从粗到细。先拿基座模型跑同一批评测题,确认差距真的存在;再逐 checkpoint 跑,找到分数开始掉的那 1 个;末了对那一段用到的数据做抽样,看句式分布。

第 1 步 跟基座对比

基座模型的分数是基准线。后训练后的模型在同一批题上掉 3 分以内属于正常波动,掉 8 分以上要查。对比时用同 1 个解码参数,温度设 0,否则结果不可比。

这一步能排除一类误判:有人在温度 1.2 下测,输出随机性大,掉了 10 分其实只是采样波动。改成温度 0 重测,分数回到基线附近,白折腾 1 天。

第 2 步 逐 checkpoint 测

把最近 5 个 checkpoint 依次跑评测集,找出分数第一次掉的那 1 个。那 1 个 checkpoint 与上一个之间跑了多少步、用了哪批数据,日志里都有记录。

这一步的耗时可控。200 道题在单卡上跑 20 分钟出结果,5 个 checkpoint 不到 2 小时。比起重跑 1 轮后训练的 6 天,这 2 小时很值。

第 3 步 抽样看数据

找到那一段用的数据后,抽 100 条看 3 件事:句式是否单一、有没有固定结尾、长度分布是否集中。模型学坏多数是数据太单一,1 个句式重复几万次,它就把这个句式当成默认格式。

我上次那 2000 条反问样本,抽 20 条就看出问题:18 条用同一个结尾句式,标点位置都一样。这批数据是模型扩写出来的,扩写时的提示词写得太具体,导致输出高度同质。

桌上打印纸与红笔

怎么修:4 条路按代价排

  1. 回滚加清洗。退回坏之前的 checkpoint,把问题数据剔掉或改写,用 1/3 的学习率再跑 300 到 500 步。代价最小,1 天能完成。
  2. 加混合数据。往指令数据里掺 20% 到 30% 的通用问答,压住单一句式。适合偏离不严重、只是风格跑偏的情况。
  3. 加约束项。在损失里加 1 项,限制新模型与原模型的输出分布差异。配置要调,调不好会训成半成品。
  4. 重训后训练段。数据整体有问题时走这条,预训练的权重不用动,从指令微调重来。3 到 6 天。

第 1 条是我默认选的。回滚的好处是可控,改完能对比;缺点是要求你留了 checkpoint 和数据版本,2 样齐了才走得通。数据版本没留的,只能走第 4 条。

第 3 条的约束系数不要一上来就设大。设大了模型会变得平庸,什么都不敢答,评测分数看着稳,实际可用性差。我从 0.05 起调,每次加 0.05,看评测集与人工抽检 2 个结果再定。

4 条路的耗时差得多。回滚加清洗 1 天,加混合数据 2 天,加约束项 2 到 3 天,重训 3 到 6 天。选哪条不看难度,看数据问题的范围:1 批数据坏就走第 1 条,超过 3 批坏就走第 4 条。

修之前先备份 1 份。回滚会覆盖当前权重,改数据也会覆盖旧版本。把坏的版本另存 1 个目录,出问题时还能回头看它到底坏在哪,这 1 步只要 10 分钟,却往往被省掉。

卡在哪:5 个卡点

  1. 找不到没坏的 checkpoint。原因:只留了最后 1 个。解:定规则,最近 5 个必须留,占的存储换来的是回滚能力。
  2. 回滚后还是歪。原因:问题数据在更早的批次里。解:往回多退 1 个版本,或直接换 1 批指令数据重跑。
  3. 分数回来了但体验差。原因:只盯客观题,没测主观项。解:加 30 条人工评分题,覆盖语气、长度、格式。
  4. 清洗后样本不够。原因:剔掉的比例太高。解:先改写再剔,把 2000 条里能救的 1500 条改掉结尾句式。
  5. 重训后偏离更大。原因:学习率沿用上一轮。解:重训的学习率按上一轮的 0.5 倍起。

第 4 条是效率上的差别。整批剔掉看着干净,样本量掉 4%,某些场景的覆盖就断了;改写能保住 7 成样本,还顺手把句式变多样。我现在的做法是先用规则批量改结尾,再人工抽 100 条确认。

第 1 条也有代价。回滚意味着那一段训练的数据白跑,1 次回滚损失 8 到 12 小时的机时。所以 checkpoint 的间隔要选好:100 步太密占空间,500 步太疏,回滚后要重跑一截。200 步是个平衡点。

怎么核验修好了

  1. 4 个指标全部回到基线 ±3 分以内,缺 1 个都不算修好。
  2. 用 50 条固定问题问 3 轮,同一问题的回答不再带固定结尾。
  3. 找 3 个没用过这个模型的人做盲测,让他们从 2 个回答里挑更自然的,挑对率超过 60% 才算过。
白板与马克笔

第 3 条是最后 1 道关。客观题分数相近的 2 个版本,实际观感能差很多。盲测的 3 个人里至少 1 个要用目标用户,别全找工程师,工程师对语气不敏感。

后训练出问题不可怕,可怕的是没有留退路。checkpoint、评测集、数据版本这 3 样东西,加起来占不到 200G 存储,换的是 1 到 3 天修好与 1 周重训之间的差别。我现在的习惯是每天收工前把当天的数据版本号写进日志,2 行字的事,查起来能省 1 整天,也能让接手的人看懂。

本文信息核对时间:2026-11