大模型后训练歪了怎么办?先停学习率再回头查数据

53分钟前发布

后训练跑歪的典型表现有 4 个:通用能力分下滑、回答突然变长、拒答变多、格式僵化。先别急着从头重跑,按 5 步查,多数情况改 1 到 2 个参数就能救回来。

2025 年我在 1 个 70 亿参数模型上踩过 1 次:偏好优化跑 800 步后,数学题分数从 62 掉到 41,回答平均长度从 180 字涨到 420 字。翻数据才发现,偏好对里长答案占比 78%,模型学会的是「写得长」。

先确认是不是真歪了

判断靠 5 个可测的指标,不靠肉眼看几条回答。指标要在同一套题库上跑,换题就没法比。

指标正常波动歪了的信号怎么测
通用能力分正负 2 分连续 2 轮掉 5 分以上固定题库 500 条
回答长度正负 15%涨 50% 以上抽 100 条统计字数
拒答率3% 到 8%超过 15%20 条越界提问
格式合格率95% 以上掉到 80% 以下100 条按模板比对
重复率5% 以下超过 15%13 字子串去重统计

表格第 2 行是最早能看出问题的。长度上涨往往比分数下滑早 1 到 2 轮出现,盯住这个数,能在能力掉下去之前踩刹车。

5 个指标要一起看。只有 1 个越界,多半是波动;2 到 3 个同时越界,才是真歪了。1 个指标越界就重训,属于过度反应,白花 1 轮卡时。

动手前要备好 4 样

  1. 上一版可用的检查点:没有它就没有退路,回滚比重训便宜 20 倍。
  2. 固定题库:500 条起步,训练全程只用来打分,不许混进训练数据。
  3. 训练日志:每 50 步记 1 次 loss、学习率、梯度范数,出问题靠它定位。
  4. 原始偏好数据:能按来源、长度、标注人拆开看,改数据比改模型快。

第 1 条是硬条件。我见过 1 次没存检查点的训练,歪了之后只能从基座重跑,多花 3 天卡时。

题库本身也要留版本。同一套题改了 5 道,前后分数就没法直接比,这是最容易踩的坑。题库文件加日期后缀,每次评测记下用的是哪一版,2 分钟的事,能省 1 轮返工。

机房里运行的服务器机柜与冷色灯光

五步修正流程

顺序别跳:从数据查起,再到参数,最后才动算法。80% 的后训练问题出在数据侧,参数只占 15% 左右。

  1. 停训练,保存现场。把当前检查点、日志、当时的采样配置一起留档。
  2. 回滚到上一个合格检查点,用固定题库确认它能跑出原来的分数。
  3. 拆数据看分布:按来源、长度、标注人各统计 1 次,找出占比异常的那一档。
  4. 补通用数据,把 SFT 或偏好集里掺入 10% 到 20% 的通用样本,压住遗忘。
  5. 降学习率重跑,把学习率降到原来的三分之一到五分之一,步数同步减少。

数据侧怎么补

掺通用数据是最直接的一招。掺入比例 10% 到 20% 之间试 2 档,看通用分回升多少、目标任务掉多少,取平衡点。掺太多会把对齐效果冲掉,掺太少压不住遗忘。

长度偏置要单独处理。偏好对里长答案占比超过 60% 的,先按长度分桶,每桶抽样后重新配平,再让标注人复标 100 对,看原来的偏好判断是否还成立。

标注一致性也要查。同一对答案让 3 个人标,3 人中有 2 人给出相反判断的样本,先剔掉。这类样本留在训练集里,模型学到的就是随机偏好,跑 300 步以后回答开始前后矛盾。

学习率怎么调

后训练的学习率通常在 1e-5 到 5e-5 这个区间。出现能力下滑时先降到 1e-5 以下,步数从 800 减到 300 到 400,观察第 200 步的指标,能在中途看出方向对不对。

梯度范数也要看。范数突然放大 5 倍以上,多半是某批数据里有异常长样本,把序列截断长度调下来再跑 50 步试试。

不同任务的学习率不一样。格式对齐这类任务学 1e-5 就够,知识注入类要低到 5e-6。拿错档位的表现是 loss 一直抖,20 步内看不出下降趋势,这时换档比加步数有效。

约束项怎么设

偏好优化里加 KL 约束,系数从 0.05 起,往上调到 0.1 到 0.2。系数越大,模型越不敢偏离基座,歪的速度慢下来,对齐幅度也跟着变小,这一步要按任务调。

约束项不是越大越好。系数到 0.3 以上,模型基本不动,跑 1000 步和跑 100 步的差别很小。用固定 20 条样本试 3 档系数,看哪一档的格式合格率与通用分都能守住,就定哪一档。

白板上的折线草图与彩色便签

卡在哪:5 个常见堵点

  1. 回滚后分数还是不对。现象是检查点跑不出原分,原因是分词器或评测脚本版本变了,解法是连推理代码一起回滚。
  2. 补了通用数据仍掉分。现象是通用分回升但任务分崩,原因是掺比过高,解法是按 5% 一档往下调。
  3. 长度压不下来。现象是长度仍涨,原因是奖励模型本身偏好长答案,解法是加长度惩罚项,或在数据里剔掉超长样本。
  4. 拒答率一路升高。现象是正常问题也拒,原因是安全数据占比过高,解法是把安全样本比例降到 5% 以内。
  5. 收敛太快。现象是 100 步内 loss 见底,原因是数据重复度高,解法是做 13 字去重,重复率控制在 5% 以下。

5 个堵点里第 1 个最费时间。回滚后分数不对,多数人先去怀疑数据,其实 8 成情况是评测脚本的版本跟着代码一起更新了,题目一样、切分方式变了,分数自然对不上。

怎么核验修好了

  1. 跑 3 组指标:通用分回到回滚前的 98% 以上,长度回到正负 15% 区间,拒答率低于 8%。
  2. 人工看 50 条:重点看长尾问题,模板化回答占比超过 3 成说明格式还没放开。
  3. 跑 1 轮小流量:把新版本挂到 10% 流量上跑 3 天,看真实提问的满意度与追问率。

第 1 条要 3 组一起过。只看通用分容易放过长度膨胀,用户感知到的「啰嗦」在分数上看不出来。

3 组指标里,拒答率最容易被忽略。它升高往往是安全样本掺多了,看着「更谨慎」,实际把正常问题也挡在门外。20 条常规提问测 1 遍,拒 2 条以上就要查数据配比。

小流量那 3 天要盯 2 个数:追问率和平均对话轮次。追问率降、轮次稳,说明回答一次就能用;追问率升、轮次也升,说明答得含糊,用户被迫再问 1 遍。

这 2 个数比离线分数更接近真实体验。离线题库的题是固定写的,真实提问更零散,语气也更随意,两边的差距通常在 5 到 10 分之间,用真实流量校准 1 次更准。

桌面上摊开的数据表格打印件与笔

把顺序记成一句话:先查数据分布,再调学习率,最后才动算法。5 步走完仍救不回来的,说明基座本身不适合这个任务,换基座比继续调参省时间。

判断要不要换基座,看 1 个数:修好之后的目标任务分,离同规模基座的公开水平差 8 分以上,继续调的空间就很有限。差 3 分以内的,调参还能再挤出 2 到 3 分。

整套流程跑 1 轮大约 2 到 3 天,其中数据拆解占一半时间。把数据拆分脚本提前写好,下次出问题能省 1 天,这部分投入比调参更值。

能防的部分提前做:每 100 步跑 1 次固定题库、每 200 步存 1 个检查点、偏好数据入库前先做长度与一致性检查。3 个动作加起来 1 天能搭好,之后每次训练都省事。

本文信息核对时间:2026-11