后训练跑歪了,先用 4 个指标定位:拒答率、平均答案长度、格式遵循率、领域词召回。4 个数里哪个离开基线最远,问题就出在哪一侧的数据上。退的顺序是数据配比、学习率、评测集泄漏,最后回滚 checkpoint。
2026 年 5 月我遇到 1 次:7B 模型微调 2 轮后,客户反馈「问 3 句才答 1 句」。查了 4 个指标,拒答率从 3% 涨到 22%,其余 3 项都正常。原因是偏好数据里有一批「不知道」的标准答案被错标成优质回答,剔掉后就回到 5%。
下面按现象判断、指标测法、回退顺序、典型歪法、回滚与验收写。每一步给可执行的动作,不讲原理推导。
| 现象 | 对应指标 | 先查哪一侧 |
|---|---|---|
| 动不动就说不知道 | 拒答率 | 偏好数据里的低分样本 |
| 答得越来越短 | 平均答案长度 | 指令数据的长度分布 |
| 只认一种格式 | 格式遵循率 | 模板占比与示例多样性 |
| 行业词不会说 | 领域词召回 | 领域语料配比与洗词规则 |
| 分数高但人工不过 | 人工通过率 | 评测集与训练集是否重叠 |
第 5 行是特殊情况。分数往上走、人工一测就掉,多半是评测集泄进了训练数据。这类问题改数据没用,先把测试集换掉再测 1 次。
同一批数据里,4 个指标常有 2 个一起动。拒答率与平均长度一起下降,说明模型学会了「短答最安全」;格式率与领域词召回一起下降,说明训练把通用能力压掉了。
4 项加起来跑 1 轮约 2 小时,其中人工判定占 1 小时。想省时间,把格式判定交给脚本,检查输出里有没有表格标记与编号,机器能判 80% 的情况。
基线要提前存。训练前把同 4 个指标在基座模型上跑 1 遍,数字写进表格。没有基线的对比,看到 15% 的差距也说不清是好是坏。
采样也要固定。200 条提问从同一个题库里抽,抽完存成 1 个文件,后面每轮都用它。换题库测,分数变化里有 1 半来自题目难度,判断会失准。
测的人也要固定。格式遵循率这类要人工判的指标,换个人判,结果差 5 个百分点很常见。同 1 个人连测 3 轮,趋势才可信。
第 6 步能省下大半时间。一次改学习率又改数据配比,指标回来了也说不清是哪一项起的作用,下 1 次遇到同样问题还是摸黑。
第 3 步的降幅按经验取一半。学习率从 1e-5 降到 5e-6,多数情况下能把「只学格式」的倾向压住;降完指标还不动,问题不在学习率,往下走。
每改 1 项都留 1 个 checkpoint 的目录名。名字里带日期、学习率、数据版本,3 天后回看不用翻日志。我的做法是目录名直接写成「0521-lr5e6-v3」这种格式,1 眼能认。
训练数据里 80% 的答案都是「先总结再分点」,模型会把格式当成任务本身。换 1 个不需要分点的任务,它照样分点。处理办法是补 200 条单段叙述型答案,把格式占比压到 60% 以下。
我处理这类问题时,会先抽出 20 条输出看骨架。20 条里有 16 条同构,就确认是格式倾向,不必再猜。
偏好数据里如果有一批「谨慎回答」被标成优质,模型会学会少说。查法是看拒答样本的得分分布,若拒答样本的平均得分高于正常回答,就是标注口径的问题。剔掉重训 1 轮,拒答率能回到个位数。
另一个来源是安全对齐过度。约束词写得太宽,把正常的行业提问也挡了。把约束从「涉及医疗不给结论」改成「涉及诊断与用药不给结论」,边界清楚,误伤会少。
短答案在人工打分时容易得高分,因为读起来清爽。数据里短答占比一高,模型就往短了走。改法有 2 个:按长度分层采样,或者给长答案加权。前者更稳,后者容易过拟合到长。
长度掉到基线 85% 以下时,业务侧的感受是「答得不透」。这时看 10 条真实提问的输出,缺的是细节还是步骤,按缺口补对应的样本。
第 2 步的 5000 条要人工挑。挑的标准是 3 条:任务真实、答案完整、格式正确。用这 5000 条跑出来的模型,分数不一定高,但行为能回到可控范围。
回滚的成本要看 checkpoint 间隔。按 2 小时存 1 次,回滚最多损失 2 小时机时;没存 checkpoint 的,只能从头再来。
第 1 条的波动范围要写进验收单。只看 1 次结果容易误判,3 次连测才能分清是模型变了还是采样噪声。
第 3 条是我固定加的。业务方的投诉多来自「换个说法就不会」,这一测能把问题提前露出来,比上线后再修便宜。
验收单上再补 1 项:把模型换到 2 个没训过的场景各问 10 题。2 个场景都答得住,说明能力没被压窄;只有 1 个场景能答,回去查数据配比。
后训练歪了的处理顺序不能乱:先测 4 个指标定位,再一次只改 1 项,最后按 checkpoint 回滚兜底。跳过定位直接调参,多数时候是白跑。
把每次的 4 个指标与改动记进 1 张表,做第 3 次微调时就有参照。这张表比任何调参经验都管用。
表里留 1 列写「业务侧反馈」。分数正常但客服说回答变差,这条反馈比指标更能提醒你去看抽样。3 个项目里至少有 1 个是这么发现问题的。
这张表建好后,每轮训练只填 1 行。3 个月下来它就是团队的经验库,新人接手不用重新摸 1 遍,遇到同类问题翻 3 行就能对上。
本文信息核对时间:2026-11,指标阈值为项目实操中的经验值,具体按你的任务与数据规模调整,别照搬别人的参数。