后训练跑歪了,先回滚到上一个评测通过的检查点,再按 4 步重训:定位坏在哪一批数据、切小批复现、调 1 个变量、按评测集验收。整套流程 3 到 7 天,别在原模型上继续堆步数。
上个月 1 个团队的模型越训越差,指令跟随掉了 18 个百分点。他们又训了 2 万步想拉回来,结果更差。回滚到 3000 步前的检查点,只换了 12% 的数据,2 天就回到原来的水平。
第 1 条是前提条件。保存间隔 30 分钟 1 次,跑 3 天留 140 多个检查点,占的存储不小。只留最近的 10 个也能救急,关键是别只留最后 1 个。
存储这件事要提前算。1 个 7B 模型的检查点 14 到 15G,140 个就是 2T。跑之前把检查点目录单独挂 1 块盘,别和训练数据挤在同一个分区,也给自己留 2 次回滚的余地。
第 4 条比技术难。训了 5 天的活,回滚等于承认前 3 天的算力白花。我见过团队因为不愿认这个损失,硬着头皮训完,最后整批重来,多花 1 周。
把回滚的标准提前写下来,比事后争论有用。写「连续 2 次评测下降就回滚」,触发时按规则执行,不用开会讨论。规则写在实验记录的第 1 页,谁看都一样。
| 材料 | 要什么 | 从哪取 |
|---|---|---|
| 检查点清单 | 步数、时间、对应评测分 | 训练日志 |
| 评测集 | 200 条以上,带标准答案 | 自己维护的题库 |
| 数据版本记录 | 每批数据的清洗规则与来源 | 数据管线日志 |
| 超参记录 | 学习率、批大小、预热步数 | 配置文件 |
| 坏样本清单 | 抽 50 条看模型答错的题 | 人工标注 |
表里第 5 行决定定位速度。50 条坏样本按错法归类:答非所问、格式乱、答一半停、编细节。4 类里占 1 类超过一半,问题大概率出在数据,不在超参。
第 3 行常被忽略。数据管线改过清洗规则但没记版本,回滚后重训用的还是新数据,歪的原因没去掉,训完继续歪。我给客户做排查,先问的就是数据版本有没有留档。
从评测分最高的那个检查点回滚,别从最后一个回滚。评测分最高的点通常在拐头前 1 到 2 次评测处。翻日志把这 3 个数拉出来:步数、评测分、当时的损失值。
没有逐次评测记录的,用 3 个检查点做对比:最早的、中间的、最后的,各跑 1 遍评测集,取分数高的那个。3 次评测 45 分钟,比盲猜省事,也比整批重跑省 3 天。
用 1% 的数据、从回滚点开始训 200 步,看评测分是涨还是跌。跌,说明问题在数据配比;平,说明问题在超参或模板;涨,说明原来那批数据有毒。3 种结果对应 3 条不同的修法。
这一步成本很低。200 步用 2 张卡 20 分钟跑完,能省掉后面 3 天的瞎试。我每次都从这步开始,10 次里有 7 次能在这里定位到原因,剩下 3 次多半是数据本身有问题。
第 2 条的顺序别反。学习率降下来最省事,1 次实验 3 小时能出结果;改数据要重新清洗、重新分词,1 轮 1 天。先试便宜的,再试贵的。
验收看 3 个数:领域题准确率、通用题准确率、格式合规率。3 个数都不低于回滚点,才算修好。有 1 个数掉了,回第 3 步换变量。
格式合规率要单独测。模型答对内容但格式散,上线没法用。测法是抽 50 条看开头有没有直接答、结尾有没有多余总结,2 项都过的比例低于 80% 就先修格式,再谈准确率。
回滚救不了的情况有 3 种:检查点全丢、评测集本身出错、训练框架版本变了。3 种里任意 1 种,回滚都没意义,只能从清洗数据开始重跑一遍。
评测集出错最难发现。题目的标准答案写错,模型答对反而扣分,越训越「歪」。判断办法:拿 20 条评测题人工答一遍,看分数与模型分数差多少,差 15 个百分点以上先怀疑题目。
框架版本变了也要重跑。同 1 份配置,框架小版本升级默认参数会变,学习率调度、梯度裁剪阈值都可能不同。回滚到旧检查点、用新框架继续训,前 200 步的损失曲线会明显跳变。
第 6 条很多人忽略。模型学的是数据分布,训练集里 80% 的答案在 50 字以内,训完就只会答短句。我遇到 1 次,客户抱怨「回答越来越敷衍」,查数据发现长答案只占 6%。
第 1 条隐蔽。评测脚本改过 1 个正则,分数整体上移 5 个百分点,看着像模型变好。回滚对比前先确认脚本没动,或者把脚本也纳入版本管理。
第 4 条在小团队里更常见。检查点存本地盘,跑 3 天堆到 1.8T,磁盘写满训练直接中断。跑之前算 1 次:模型大小乘以保存次数,留 1.5 倍余量。
第 2 条是防过拟合的。评测集看多了会被无意中调参调过去,换新问法能看出真实水平。20 个问法我按 4 类任务各出 5 个,出题时不看训练集。
第 3 条要随机抽。挑着看容易只看中间的样本,两端的短答案、长答案都漏。随机抽 30 条,把 3 个字段记在表上:开头、术语、结尾,逐条打勾,勾完再统计比例。
后训练跑歪这件事,代价最大的一段是「不愿回滚」。越训越差时,多训 1 万步能把分数拉回来的概率很低,把时间花在定位上更划算。回滚、切小批、改 1 个变量、按集验收,4 步走完一般 3 天出结果,比硬训 1 周更省算力。
本文信息核对时间:2026-11