后训练跑歪的典型表现有 4 个:通用能力分下滑、回答突然变长、拒答变多、格式僵化。先别急着从头重跑,按 5 步查,多数情况改 1 到 2 个参数就能救回来。
2025 年我在 1 个 70 亿参数模型上踩过 1 次:偏好优化跑 800 步后,数学题分数从 62 掉到 41,回答平均长度从 180 字涨到 420 字。翻数据才发现,偏好对里长答案占比 78%,模型学会的是「写得长」。
判断靠 5 个可测的指标,不靠肉眼看几条回答。指标要在同一套题库上跑,换题就没法比。
| 指标 | 正常波动 | 歪了的信号 | 怎么测 |
|---|---|---|---|
| 通用能力分 | 正负 2 分 | 连续 2 轮掉 5 分以上 | 固定题库 500 条 |
| 回答长度 | 正负 15% | 涨 50% 以上 | 抽 100 条统计字数 |
| 拒答率 | 3% 到 8% | 超过 15% | 20 条越界提问 |
| 格式合格率 | 95% 以上 | 掉到 80% 以下 | 100 条按模板比对 |
| 重复率 | 5% 以下 | 超过 15% | 13 字子串去重统计 |
表格第 2 行是最早能看出问题的。长度上涨往往比分数下滑早 1 到 2 轮出现,盯住这个数,能在能力掉下去之前踩刹车。
5 个指标要一起看。只有 1 个越界,多半是波动;2 到 3 个同时越界,才是真歪了。1 个指标越界就重训,属于过度反应,白花 1 轮卡时。
第 1 条是硬条件。我见过 1 次没存检查点的训练,歪了之后只能从基座重跑,多花 3 天卡时。
题库本身也要留版本。同一套题改了 5 道,前后分数就没法直接比,这是最容易踩的坑。题库文件加日期后缀,每次评测记下用的是哪一版,2 分钟的事,能省 1 轮返工。
顺序别跳:从数据查起,再到参数,最后才动算法。80% 的后训练问题出在数据侧,参数只占 15% 左右。
掺通用数据是最直接的一招。掺入比例 10% 到 20% 之间试 2 档,看通用分回升多少、目标任务掉多少,取平衡点。掺太多会把对齐效果冲掉,掺太少压不住遗忘。
长度偏置要单独处理。偏好对里长答案占比超过 60% 的,先按长度分桶,每桶抽样后重新配平,再让标注人复标 100 对,看原来的偏好判断是否还成立。
标注一致性也要查。同一对答案让 3 个人标,3 人中有 2 人给出相反判断的样本,先剔掉。这类样本留在训练集里,模型学到的就是随机偏好,跑 300 步以后回答开始前后矛盾。
后训练的学习率通常在 1e-5 到 5e-5 这个区间。出现能力下滑时先降到 1e-5 以下,步数从 800 减到 300 到 400,观察第 200 步的指标,能在中途看出方向对不对。
梯度范数也要看。范数突然放大 5 倍以上,多半是某批数据里有异常长样本,把序列截断长度调下来再跑 50 步试试。
不同任务的学习率不一样。格式对齐这类任务学 1e-5 就够,知识注入类要低到 5e-6。拿错档位的表现是 loss 一直抖,20 步内看不出下降趋势,这时换档比加步数有效。
偏好优化里加 KL 约束,系数从 0.05 起,往上调到 0.1 到 0.2。系数越大,模型越不敢偏离基座,歪的速度慢下来,对齐幅度也跟着变小,这一步要按任务调。
约束项不是越大越好。系数到 0.3 以上,模型基本不动,跑 1000 步和跑 100 步的差别很小。用固定 20 条样本试 3 档系数,看哪一档的格式合格率与通用分都能守住,就定哪一档。
5 个堵点里第 1 个最费时间。回滚后分数不对,多数人先去怀疑数据,其实 8 成情况是评测脚本的版本跟着代码一起更新了,题目一样、切分方式变了,分数自然对不上。
第 1 条要 3 组一起过。只看通用分容易放过长度膨胀,用户感知到的「啰嗦」在分数上看不出来。
3 组指标里,拒答率最容易被忽略。它升高往往是安全样本掺多了,看着「更谨慎」,实际把正常问题也挡在门外。20 条常规提问测 1 遍,拒 2 条以上就要查数据配比。
小流量那 3 天要盯 2 个数:追问率和平均对话轮次。追问率降、轮次稳,说明回答一次就能用;追问率升、轮次也升,说明答得含糊,用户被迫再问 1 遍。
这 2 个数比离线分数更接近真实体验。离线题库的题是固定写的,真实提问更零散,语气也更随意,两边的差距通常在 5 到 10 分之间,用真实流量校准 1 次更准。
把顺序记成一句话:先查数据分布,再调学习率,最后才动算法。5 步走完仍救不回来的,说明基座本身不适合这个任务,换基座比继续调参省时间。
判断要不要换基座,看 1 个数:修好之后的目标任务分,离同规模基座的公开水平差 8 分以上,继续调的空间就很有限。差 3 分以内的,调参还能再挤出 2 到 3 分。
整套流程跑 1 轮大约 2 到 3 天,其中数据拆解占一半时间。把数据拆分脚本提前写好,下次出问题能省 1 天,这部分投入比调参更值。
能防的部分提前做:每 100 步跑 1 次固定题库、每 200 步存 1 个检查点、偏好数据入库前先做长度与一致性检查。3 个动作加起来 1 天能搭好,之后每次训练都省事。
本文信息核对时间:2026-11