大模型后训练歪了怎么救?回滚后按 4 步重训

9分钟前发布

后训练跑歪了,先回滚到上一个评测通过的检查点,再按 4 步重训:定位坏在哪一批数据、切小批复现、调 1 个变量、按评测集验收。整套流程 3 到 7 天,别在原模型上继续堆步数。

上个月 1 个团队的模型越训越差,指令跟随掉了 18 个百分点。他们又训了 2 万步想拉回来,结果更差。回滚到 3000 步前的检查点,只换了 12% 的数据,2 天就回到原来的水平。

谁能动手回滚

  1. 手上有按间隔保存的检查点。只存了最终版的,回不去,只能重跑。
  2. 有一份固定的评测集,200 条以上,覆盖 5 类任务。
  3. 能查训练日志。数据版本、学习率、批次顺序都要有记录。
  4. 有人能拍板停。回滚意味着放弃已经花掉的算力,要有人认这个损失。

第 1 条是前提条件。保存间隔 30 分钟 1 次,跑 3 天留 140 多个检查点,占的存储不小。只留最近的 10 个也能救急,关键是别只留最后 1 个。

存储这件事要提前算。1 个 7B 模型的检查点 14 到 15G,140 个就是 2T。跑之前把检查点目录单独挂 1 块盘,别和训练数据挤在同一个分区,也给自己留 2 次回滚的余地。

第 4 条比技术难。训了 5 天的活,回滚等于承认前 3 天的算力白花。我见过团队因为不愿认这个损失,硬着头皮训完,最后整批重来,多花 1 周。

把回滚的标准提前写下来,比事后争论有用。写「连续 2 次评测下降就回滚」,触发时按规则执行,不用开会讨论。规则写在实验记录的第 1 页,谁看都一样。

要准备什么

材料要什么从哪取
检查点清单步数、时间、对应评测分训练日志
评测集200 条以上,带标准答案自己维护的题库
数据版本记录每批数据的清洗规则与来源数据管线日志
超参记录学习率、批大小、预热步数配置文件
坏样本清单抽 50 条看模型答错的题人工标注

表里第 5 行决定定位速度。50 条坏样本按错法归类:答非所问、格式乱、答一半停、编细节。4 类里占 1 类超过一半,问题大概率出在数据,不在超参。

第 3 行常被忽略。数据管线改过清洗规则但没记版本,回滚后重训用的还是新数据,歪的原因没去掉,训完继续歪。我给客户做排查,先问的就是数据版本有没有留档。

机房机架旁的走线与指示灯

怎么办:4 个步骤

第 1 步:定回滚到哪一步

从评测分最高的那个检查点回滚,别从最后一个回滚。评测分最高的点通常在拐头前 1 到 2 次评测处。翻日志把这 3 个数拉出来:步数、评测分、当时的损失值。

没有逐次评测记录的,用 3 个检查点做对比:最早的、中间的、最后的,各跑 1 遍评测集,取分数高的那个。3 次评测 45 分钟,比盲猜省事,也比整批重跑省 3 天。

第 2 步:切小批复现问题

用 1% 的数据、从回滚点开始训 200 步,看评测分是涨还是跌。跌,说明问题在数据配比;平,说明问题在超参或模板;涨,说明原来那批数据有毒。3 种结果对应 3 条不同的修法。

这一步成本很低。200 步用 2 张卡 20 分钟跑完,能省掉后面 3 天的瞎试。我每次都从这步开始,10 次里有 7 次能在这里定位到原因,剩下 3 次多半是数据本身有问题。

第 3 步:一次只改 1 个变量

  1. 数据有问题:剔掉坏样本,重跑同一批,其他不动。
  2. 超参有问题:学习率降 1 档,数据不动。
  3. 模板有问题:对齐官方对话模板,重新生成训练样本。
  4. 配比有问题:领域数据掺 20% 通用数据,看通用题是否回来。

第 2 条的顺序别反。学习率降下来最省事,1 次实验 3 小时能出结果;改数据要重新清洗、重新分词,1 轮 1 天。先试便宜的,再试贵的。

第 4 步:按评测集验收

验收看 3 个数:领域题准确率、通用题准确率、格式合规率。3 个数都不低于回滚点,才算修好。有 1 个数掉了,回第 3 步换变量。

格式合规率要单独测。模型答对内容但格式散,上线没法用。测法是抽 50 条看开头有没有直接答、结尾有没有多余总结,2 项都过的比例低于 80% 就先修格式,再谈准确率。

桌面上的双屏与鼠标

什么时候该整批重跑

回滚救不了的情况有 3 种:检查点全丢、评测集本身出错、训练框架版本变了。3 种里任意 1 种,回滚都没意义,只能从清洗数据开始重跑一遍。

评测集出错最难发现。题目的标准答案写错,模型答对反而扣分,越训越「歪」。判断办法:拿 20 条评测题人工答一遍,看分数与模型分数差多少,差 15 个百分点以上先怀疑题目。

框架版本变了也要重跑。同 1 份配置,框架小版本升级默认参数会变,学习率调度、梯度裁剪阈值都可能不同。回滚到旧检查点、用新框架继续训,前 200 步的损失曲线会明显跳变。

卡在哪:6 个常见卡点

  1. 回滚后分数还是低。原因:评测脚本换了版本。解:固定评测脚本,与回滚点用同一版。
  2. 重训又歪。原因:坏数据没剔干净。解:按坏样本特征反查,把同类样本整批剔掉。
  3. 分数涨了但答非所问。原因:评测集太窄,只测了 1 类任务。解:补 3 类任务的题,重新评。
  4. 训练速度变慢。原因:检查点越存越多,磁盘读写成瓶颈。解:只留最近 10 个,其余归档。
  5. 多卡结果不一致。原因:随机种子不同步。解:固定种子,关掉非确定性算子。
  6. 越训越短。原因:数据里短答案占比过高。解:按长度分层抽样,长答案补到 30%。

第 6 条很多人忽略。模型学的是数据分布,训练集里 80% 的答案在 50 字以内,训完就只会答短句。我遇到 1 次,客户抱怨「回答越来越敷衍」,查数据发现长答案只占 6%。

第 1 条隐蔽。评测脚本改过 1 个正则,分数整体上移 5 个百分点,看着像模型变好。回滚对比前先确认脚本没动,或者把脚本也纳入版本管理。

第 4 条在小团队里更常见。检查点存本地盘,跑 3 天堆到 1.8T,磁盘写满训练直接中断。跑之前算 1 次:模型大小乘以保存次数,留 1.5 倍余量。

白板上的手绘曲线与磁扣

怎么核验修好了

  1. 评测集连跑 3 遍,分数波动在 2 个百分点以内。
  2. 换 20 个没见过的问法,答对 16 个以上。
  3. 抽 30 条做人工看,格式与术语都对。

第 2 条是防过拟合的。评测集看多了会被无意中调参调过去,换新问法能看出真实水平。20 个问法我按 4 类任务各出 5 个,出题时不看训练集。

第 3 条要随机抽。挑着看容易只看中间的样本,两端的短答案、长答案都漏。随机抽 30 条,把 3 个字段记在表上:开头、术语、结尾,逐条打勾,勾完再统计比例。

后训练跑歪这件事,代价最大的一段是「不愿回滚」。越训越差时,多训 1 万步能把分数拉回来的概率很低,把时间花在定位上更划算。回滚、切小批、改 1 个变量、按集验收,4 步走完一般 3 天出结果,比硬训 1 周更省算力。

本文信息核对时间:2026-11