大模型后训练歪了怎么办?按这 4 个指标往回退

48分钟前发布

后训练跑歪了,先用 4 个指标定位:拒答率、平均答案长度、格式遵循率、领域词召回。4 个数里哪个离开基线最远,问题就出在哪一侧的数据上。退的顺序是数据配比、学习率、评测集泄漏,最后回滚 checkpoint。

2026 年 5 月我遇到 1 次:7B 模型微调 2 轮后,客户反馈「问 3 句才答 1 句」。查了 4 个指标,拒答率从 3% 涨到 22%,其余 3 项都正常。原因是偏好数据里有一批「不知道」的标准答案被错标成优质回答,剔掉后就回到 5%。

下面按现象判断、指标测法、回退顺序、典型歪法、回滚与验收写。每一步给可执行的动作,不讲原理推导。

一、先判断歪在哪

现象对应指标先查哪一侧
动不动就说不知道拒答率偏好数据里的低分样本
答得越来越短平均答案长度指令数据的长度分布
只认一种格式格式遵循率模板占比与示例多样性
行业词不会说领域词召回领域语料配比与洗词规则
分数高但人工不过人工通过率评测集与训练集是否重叠

第 5 行是特殊情况。分数往上走、人工一测就掉,多半是评测集泄进了训练数据。这类问题改数据没用,先把测试集换掉再测 1 次。

同一批数据里,4 个指标常有 2 个一起动。拒答率与平均长度一起下降,说明模型学会了「短答最安全」;格式率与领域词召回一起下降,说明训练把通用能力压掉了。

二、4 个指标怎么测

  1. 拒答率:取 200 条正常提问,统计回答里出现「无法回答」「不知道」的比例。
  2. 平均长度:同 200 条,算汉字数均值,与基线比,差距超过 15% 就要查。
  3. 格式遵循率:给 50 条要求输出表格或编号的任务,人工数有几个真按格式出。
  4. 领域词召回:写 30 个行业术语,让模型解释,看能正确解释几个。

4 项加起来跑 1 轮约 2 小时,其中人工判定占 1 小时。想省时间,把格式判定交给脚本,检查输出里有没有表格标记与编号,机器能判 80% 的情况。

基线要提前存。训练前把同 4 个指标在基座模型上跑 1 遍,数字写进表格。没有基线的对比,看到 15% 的差距也说不清是好是坏。

采样也要固定。200 条提问从同一个题库里抽,抽完存成 1 个文件,后面每轮都用它。换题库测,分数变化里有 1 半来自题目难度,判断会失准。

测的人也要固定。格式遵循率这类要人工判的指标,换个人判,结果差 5 个百分点很常见。同 1 个人连测 3 轮,趋势才可信。

机房里服务器指示灯与走线,光线偏冷

三、按顺序往回退

  1. 看数据配比表,确认指令数据与偏好数据的条数比例是否与上 1 版一致。
  2. 看长度分布,把 200 字以上的样本占比对到 30% 上下。
  3. 看学习率与轮数,先降一半学习率,用同 1 份数据重跑 1 轮。
  4. 看评测集,抽 30 条测试题查有没有出现在训练集里。
  5. 以上都改过仍不对,回滚到上 1 个 checkpoint,从那里续训。
  6. 每次只改 1 项,改完立刻跑 4 个指标,记录变化。

第 6 步能省下大半时间。一次改学习率又改数据配比,指标回来了也说不清是哪一项起的作用,下 1 次遇到同样问题还是摸黑。

第 3 步的降幅按经验取一半。学习率从 1e-5 降到 5e-6,多数情况下能把「只学格式」的倾向压住;降完指标还不动,问题不在学习率,往下走。

每改 1 项都留 1 个 checkpoint 的目录名。名字里带日期、学习率、数据版本,3 天后回看不用翻日志。我的做法是目录名直接写成「0521-lr5e6-v3」这种格式,1 眼能认。

四、3 类典型歪法

只学会一种格式

训练数据里 80% 的答案都是「先总结再分点」,模型会把格式当成任务本身。换 1 个不需要分点的任务,它照样分点。处理办法是补 200 条单段叙述型答案,把格式占比压到 60% 以下。

我处理这类问题时,会先抽出 20 条输出看骨架。20 条里有 16 条同构,就确认是格式倾向,不必再猜。

拒答变多

偏好数据里如果有一批「谨慎回答」被标成优质,模型会学会少说。查法是看拒答样本的得分分布,若拒答样本的平均得分高于正常回答,就是标注口径的问题。剔掉重训 1 轮,拒答率能回到个位数。

另一个来源是安全对齐过度。约束词写得太宽,把正常的行业提问也挡了。把约束从「涉及医疗不给结论」改成「涉及诊断与用药不给结论」,边界清楚,误伤会少。

长答变短

短答案在人工打分时容易得高分,因为读起来清爽。数据里短答占比一高,模型就往短了走。改法有 2 个:按长度分层采样,或者给长答案加权。前者更稳,后者容易过拟合到长。

长度掉到基线 85% 以下时,业务侧的感受是「答得不透」。这时看 10 条真实提问的输出,缺的是细节还是步骤,按缺口补对应的样本。

桌上摊开的打印记录与一支马克笔,纸面空白

五、退不回来怎么办

  1. 回滚到上 1 个 checkpoint,先确认模型能正常应答。
  2. 用 1 份只含 5000 条高质量样本的小数据集重训 1 轮,看能否恢复。
  3. 仍不行就回到基座,从监督微调重新走 1 遍,偏好对齐那一步先跳过。

第 2 步的 5000 条要人工挑。挑的标准是 3 条:任务真实、答案完整、格式正确。用这 5000 条跑出来的模型,分数不一定高,但行为能回到可控范围。

回滚的成本要看 checkpoint 间隔。按 2 小时存 1 次,回滚最多损失 2 小时机时;没存 checkpoint 的,只能从头再来。

六、怎么确认退对了

  1. 4 个指标都回到基线 10% 以内,且连测 3 次波动不超过 3 个百分点。
  2. 抽 50 条真实提问人工过 1 遍,通过率与上 1 版持平或更高。
  3. 拿 10 个没见过的问法试,答得住说明没过度拟合到训练集。

第 1 条的波动范围要写进验收单。只看 1 次结果容易误判,3 次连测才能分清是模型变了还是采样噪声。

第 3 条是我固定加的。业务方的投诉多来自「换个说法就不会」,这一测能把问题提前露出来,比上线后再修便宜。

验收单上再补 1 项:把模型换到 2 个没训过的场景各问 10 题。2 个场景都答得住,说明能力没被压窄;只有 1 个场景能答,回去查数据配比。

显示器前的手写笔记本与键盘,屏幕虚化

后训练歪了的处理顺序不能乱:先测 4 个指标定位,再一次只改 1 项,最后按 checkpoint 回滚兜底。跳过定位直接调参,多数时候是白跑。

把每次的 4 个指标与改动记进 1 张表,做第 3 次微调时就有参照。这张表比任何调参经验都管用。

表里留 1 列写「业务侧反馈」。分数正常但客服说回答变差,这条反馈比指标更能提醒你去看抽样。3 个项目里至少有 1 个是这么发现问题的。

这张表建好后,每轮训练只填 1 行。3 个月下来它就是团队的经验库,新人接手不用重新摸 1 遍,遇到同类问题翻 3 行就能对上。

本文信息核对时间:2026-11,指标阈值为项目实操中的经验值,具体按你的任务与数据规模调整,别照搬别人的参数。