大模型后训练歪了怎么办?先分清格式崩还是偏科

8小时前发布

结论先给:后训练把模型训歪,先分 3 类现象,格式崩、偏科、忘事。3 类的修法完全不同,格式崩靠调数据格式,偏科靠调配比,忘事靠混入通用数据重训。别一上手就重跑,先回滚到歪之前的检查点,再在 1 个小批次上验证 1 次,能省 3 到 5 天。

2026 年 6 月我遇到过 1 次:7B 模型做完监督微调,业务问答准确率从 61% 涨到 78%,但让它按 JSON 输出就崩,10 次里有 7 次多出解释性文字。当时团队想直接重训,我拦下来查了数据,发现微调数据里 8 成答案带解释句,模型学的是"先解释再给结果"。

先判断歪在哪:3 类现象对照

格式崩的表现是输出结构不对。要求输出表格却给了段落,要求 JSON 却多了前后说明,要求 3 行却给了 8 行。这类问题的根源在训练数据的格式一致性,与模型能力无关。

偏科的表现是某类任务变好、其他类明显变差。业务问答涨了 17 个点,通用问答掉了 9 个点,写代码掉了 12 个点。这类问题的根源在数据配比,微调数据里业务样本占比过高。

忘事的表现是答不出训练前会答的内容。原本能答的历史事件、常识、行业术语,微调后开始答错或者拒答。这类问题在参数更新幅度过大时出现,学习率设高了最容易触发。

要准备什么

修之前备 4 样东西,缺哪样都会多绕 1 轮。

准备项怎么看正常值参考异常怎么处理
歪之前的检查点训练日志里最近的 1 个损失稳定下降没有就重训,别硬修
对照评测集30 到 50 条题,覆盖 3 类任务格式题占 1/3少于 10 条格式题要补
微调数据抽样随机抽 100 条看格式格式一致率 95% 以上低于 90% 先洗数据
通用数据备份5000 到 2 万条通用对话与业务数据 1 比 4没有就找开源集补

表里第 1 行最要紧。有检查点就能回滚,回滚 1 次约 20 分钟;没检查点只能重训,7B 模型重训 1 轮 2 到 3 天。我现在的规矩是每 500 步存 1 次,训练机上永远留着最近 5 个。

第 3 行的抽样要看 3 个地方:开头有没有多余铺垫、结尾有没有总结句、字段名大小写是否统一。3 处里任意 1 处不一致,比例超过 5% 就会让模型学歪。

机房里的机架与指示灯

怎么修:3 步走完

第 1 步 回滚并复现

先回滚到歪之前的检查点,用同一批 30 条题跑 1 遍,确认基线分数。这一步做的是把"歪"的现象复现出来,先不急着改。复现不出来说明问题在评测口径,不在模型。

复现时固定 3 个变量:温度设 0、最大输出长度固定、系统提示词一致。3 个变量有 1 个变了,两次结果就没法比。我把这套参数写成 1 个配置文件,每次评测直接调。

第 2 步 洗数据或调配比

格式崩就洗数据。把 100 条抽样里的格式问题归类,多余的铺垫句删掉,字段名统一成小写,输出模板固定成 1 种。洗完再抽 100 条复查,一致率到 95% 以上才继续。

偏科就调配比。业务数据与通用数据的比例从 8 比 2 调到 4 比 1,或者把业务数据减半、通用数据加倍。调完先跑 1 个 200 步的小批次,看两类任务的分数有没有同时站住。

第 3 步 小步重训再放大

学习率降 1 个量级,从 2e-5 降到 2e-6,训练轮次从 3 轮减到 1 轮。小批次跑 200 到 300 步,跑完立刻评测,3 类任务都站住再放大到全量。放大时保持同样的学习率,别在中途调。

忘事类的问题在这一步解决。混入 20% 的通用对话数据,让模型在学新任务的同时复习旧内容。混入比例低于 10%,忘事照旧;高于 30%,新任务学不进去。20% 是我试过 4 次后定下的比例。

桌上摊开的打印报告与笔

卡在哪:5 个常见卡点

  1. 没有可用检查点。原因:只存了最终权重。解:改成每 500 步存全量状态,占 60GB 也值。
  2. 评测分数看不出问题。原因:评测集里没有格式题。解:补 10 到 15 条格式题,占总量 1/3。
  3. 洗完数据还是崩。原因:模板有 2 套在用。解:全库替换成 1 套,别留兼容分支。
  4. 配比调完偏科更重。原因:通用数据质量差,多是短问答。解:换成带长回答的通用集。
  5. 小批次好、全量又崩。原因:全量数据里混了旧版本样本。解:按数据版本号过滤,只留当前版本。

第 5 条坑过 1 次。小批次跑完 3 类任务都过线,放大到 3 万条又崩了。查了 2 天,发现全量集里有 4000 条是 3 个月前的旧模板样本,混进去把格式又带偏了。加上版本号过滤后,问题消失。

第 2 条最容易被忽略。评测集全是业务题,格式崩了分数照样很高,因为答案内容对、结构错。补上格式题之后,同一批模型分数从 78% 掉到 64%,问题才显出来。

配比怎么调:1 张可复用的试错表

调比之前先建 1 张表,4 列:业务数据量、通用数据量、业务题分数、通用题分数。每调 1 次填 1 行,跑 200 步就够,不用等全量。填到第 3 行,趋势就能看出来。

我的记录里,8 比 2 的时候业务 78 分、通用 64 分;改成 4 比 1 之后业务 76 分、通用 71 分;再改成 3 比 1,业务 72 分、通用 74 分。3 组里 4 比 1 是平衡点,业务掉 2 分换通用涨 7 分。这个结果与数据量有关,换 1 批数据要重新测。

表里只记 4 列,别加太多指标。指标一多,1 次试错要跑 3 组评测,时间从 2 小时涨到 6 小时。先用 2 个分数定位方向,方向对了再补细项。

试错批次固定 200 步。步数太少看不出趋势,损失还在波动区间;超过 500 步,1 次试错要 3 小时,1 天只能跑 2 组。200 步是我试过 10 多次后定的,2 小时能出结果。

每组的随机种子要固定。种子一变,同一组配比的分数能差 3 到 5 分,比配比本身的影响还大。记录表里加个备注列写种子号,回头对比时能排除这项干扰。

数据要留版本号。调比过程中会洗数据,洗完的版本与洗前混用,试错结果就没法复现。文件名带上日期与版本,比如 v3-1118,1 个月后翻记录能对上。版本号写进训练脚本的输出目录,别只写在备注里。

白板上的表格草稿

怎么核验修好了

  1. 格式题按 100 条跑,结构正确率 95% 以上才算过。
  2. 业务题与通用题分数差不超过 5 个点,差得多说明还在偏科。
  3. 抽 20 条训练前会答的常识题,答对 18 条以上算没忘事。
  4. 同一批题跑 3 次,结果一致率 90% 以上,避免靠运气过线。

第 4 条是防止过拟合评测集。跑 1 次就过的模型,换 1 批题可能掉 10 个点。跑 3 次取平均,再换 1 批没见过的题复核,2 步都过才算稳。

整套修法跑 1 遍,从回滚到验证约 3 到 4 天,比重训省一半时间。真正花时间的是洗数据,1 万条数据人工过 1 遍要 6 到 8 小时。把格式规范写成 1 页文档发给标注的人,返工率能降 6 成。

最后记 1 条顺序:先回滚复现,再洗数据或调比,最后小步重训。3 步里跳过任何 1 步,返工的概率都会翻倍。急着上线的时候更要按顺序走,省下的 2 天常常变成 5 天。顺序写在流程文档第 1 页,新人照做。

本文信息核对时间:2026-11