结论先给:后训练把模型训歪了,先别从头重跑。按 4 个指标定位坏在哪一段,多数情况从 checkpoint 回滚加调整数据配比就能修,1 到 3 天能回到基线。真正需要重训的比例不高,我处理的 8 次里有 6 次是回滚解决的。
2026 年 7 月遇到 1 例:一个 7B 模型后训练完,用户问什么它都在末尾加一句反问。客户以为是模型能力问题,准备重跑全流程。我们查了训练日志,发现指令数据里有 1 批 2000 条样本带反问结尾,占全量 4%,模型把这个句式学成了默认动作。
4 个指标里,第 3 个最容易被忽略。指令微调的学习率设高了,模型会把预训练学到的知识压掉一部分,表现是回答变短、语气变顺从,但答错率上升。这类问题看不出来,只能靠题库对分数。
我一般把 4 个指标做成 1 张表,每次后训练都填 1 行。跑过 6 轮之后,哪一列开始波动,一眼能看出来。没有这张表的时候,全靠主观感觉,客户说"感觉变笨了",你连从哪查都不知道。
| 材料 | 怎么留 | 用途 |
|---|---|---|
| checkpoint | 每 100 到 200 步存 1 次,保留最近 5 个 | 回滚到没坏的那一步 |
| 评测集 | 200 道客观题,固定不换 | 量化偏离幅度 |
| 训练日志 | loss、学习率、梯度范数逐 step 记录 | 找异常发生的位置 |
| 数据版本 | 每次改动记日期与样本数 | 定位是哪批数据带进来的 |
表里第 4 行最容易被省掉。数据是分批加的,改一版没记版本号,出问题时说不清是哪批带进来的。我现在的做法是文件名带日期和样本数,比如 0715-2000 条,配合 1 张变更表,2 分钟能定位。
定位走 3 步,从粗到细。先拿基座模型跑同一批评测题,确认差距真的存在;再逐 checkpoint 跑,找到分数开始掉的那 1 个;末了对那一段用到的数据做抽样,看句式分布。
基座模型的分数是基准线。后训练后的模型在同一批题上掉 3 分以内属于正常波动,掉 8 分以上要查。对比时用同 1 个解码参数,温度设 0,否则结果不可比。
这一步能排除一类误判:有人在温度 1.2 下测,输出随机性大,掉了 10 分其实只是采样波动。改成温度 0 重测,分数回到基线附近,白折腾 1 天。
把最近 5 个 checkpoint 依次跑评测集,找出分数第一次掉的那 1 个。那 1 个 checkpoint 与上一个之间跑了多少步、用了哪批数据,日志里都有记录。
这一步的耗时可控。200 道题在单卡上跑 20 分钟出结果,5 个 checkpoint 不到 2 小时。比起重跑 1 轮后训练的 6 天,这 2 小时很值。
找到那一段用的数据后,抽 100 条看 3 件事:句式是否单一、有没有固定结尾、长度分布是否集中。模型学坏多数是数据太单一,1 个句式重复几万次,它就把这个句式当成默认格式。
我上次那 2000 条反问样本,抽 20 条就看出问题:18 条用同一个结尾句式,标点位置都一样。这批数据是模型扩写出来的,扩写时的提示词写得太具体,导致输出高度同质。
第 1 条是我默认选的。回滚的好处是可控,改完能对比;缺点是要求你留了 checkpoint 和数据版本,2 样齐了才走得通。数据版本没留的,只能走第 4 条。
第 3 条的约束系数不要一上来就设大。设大了模型会变得平庸,什么都不敢答,评测分数看着稳,实际可用性差。我从 0.05 起调,每次加 0.05,看评测集与人工抽检 2 个结果再定。
4 条路的耗时差得多。回滚加清洗 1 天,加混合数据 2 天,加约束项 2 到 3 天,重训 3 到 6 天。选哪条不看难度,看数据问题的范围:1 批数据坏就走第 1 条,超过 3 批坏就走第 4 条。
修之前先备份 1 份。回滚会覆盖当前权重,改数据也会覆盖旧版本。把坏的版本另存 1 个目录,出问题时还能回头看它到底坏在哪,这 1 步只要 10 分钟,却往往被省掉。
第 4 条是效率上的差别。整批剔掉看着干净,样本量掉 4%,某些场景的覆盖就断了;改写能保住 7 成样本,还顺手把句式变多样。我现在的做法是先用规则批量改结尾,再人工抽 100 条确认。
第 1 条也有代价。回滚意味着那一段训练的数据白跑,1 次回滚损失 8 到 12 小时的机时。所以 checkpoint 的间隔要选好:100 步太密占空间,500 步太疏,回滚后要重跑一截。200 步是个平衡点。
第 3 条是最后 1 道关。客观题分数相近的 2 个版本,实际观感能差很多。盲测的 3 个人里至少 1 个要用目标用户,别全找工程师,工程师对语气不敏感。
后训练出问题不可怕,可怕的是没有留退路。checkpoint、评测集、数据版本这 3 样东西,加起来占不到 200G 存储,换的是 1 到 3 天修好与 1 周重训之间的差别。我现在的习惯是每天收工前把当天的数据版本号写进日志,2 行字的事,查起来能省 1 整天,也能让接手的人看懂。
本文信息核对时间:2026-11