deepseek大模型训练流程有哪几个阶段?哪些环节要人盯

9小时前发布

结论先给:deepseek 这类大模型的训练流程拆成 6 个阶段,从语料清洗到上线评测,周期从 2 个月到 8 个月不等。6 个阶段里有 3 个必须有人盯,分别是数据配比、损失曲线异常、评测口径;其余 3 个可以写成脚本跑,人只在出报告时看结果。

我在 2026 年 5 月参与过 1 个 7B 参数模型的复现,团队 4 个人,卡是租的,训练跑了 19 天。中途停了 3 次,2 次是数据里的重复片段导致损失突然下探,1 次是评测集和训练集串了样本,分数虚高 11 个点。这 3 次都发生在需要人盯的环节。

先看能不能做:4 个硬条件

第 1 个条件是算力。7B 参数全量预训练按常规配置要 64 张卡跑 2 到 3 周,13B 以上翻倍。手头只有 8 张卡,就别考虑全量预训练,走开源权重做继续预训练或微调,周期能压到 3 天。

第 2 个条件是语料量。中文语料要达到 500GB 以上的清洗后文本,才够支撑 1 轮完整预训练。低于这个量,模型在长文本任务上明显吃力,问 3000 字以上的文档就开始漏段。

第 3 个条件是团队分工。至少要有人管数据、有人管训练脚本、有人管评测,3 个角色压到 1 个人身上,出问题时很难同时盯住损失和样本。第 4 个条件是评测集,要提前备 300 到 500 条带标准答案的题,覆盖自己业务的真实场景,不能拿公开榜单代替。

要准备什么

4 类东西要在开跑前备齐。缺其中 1 类,训练能启动但跑不完,或者跑完没法判断好坏。

准备项规模参考具体要求谁来备
预训练语料500GB 以上去重、去广告、按语言分层数据岗
指令微调数据5 万到 20 万条问题与答案成对,答案要有出处业务岗 + 数据岗
评测集300 到 500 条带标准答案,按场景分组业务岗
算力与存储按参数量定训练卡 + 高速存储,留 30% 余量运维岗

表里第 2 行最容易糊弄。5 万条指令数据如果全是"你好""介绍一下"这类泛问题,训出来的模型在专业场景照样答不准。我的做法是按业务线分 8 组,每组不少于 5000 条,答案里必须带具体数字或流程节点。

第 3 行要在开跑前定死,不能边训边加。评测集一改,前后两轮的分数就没法比。我们那次是第 2 周往评测集里补了 40 条新题,结果第 1 轮和第 2 轮的分数差 6 个点,查了 2 天才确认是题目难度变了。

机房内一排服务器机架

怎么办:6 个阶段走完

阶段 1 到 2:语料清洗与分词

清洗做 4 件事:去重、去模板化文本、去乱码、按语言打标。去重按段落级做,重复率超过 3 次的段落整段丢掉。这一步跑完,500GB 原始语料通常剩 380GB 左右,剩下的量才是能进训练的量。

分词器要跟鞋底一致。用开源权重做继续预训练,分词器必须沿用原模型的,自己换一套会让词表对不上,训出来的模型输出乱码。这一步脚本化程度高,人只需要看 1 份抽样 200 条的分词结果。

阶段 3:预训练

预训练是唯一必须全程有人值班的阶段。启动后前 2 小时看损失有没有平稳下降,正常情况每 100 步降 0.02 到 0.05。损失在 200 步内不降,多半是学习率设高了或者数据里有空样本。

值班要盯 3 个指标:损失曲线、梯度范数、显存占用。梯度范数突然涨到 10 以上,说明有异常样本;显存占用逐小时上涨,是缓存没释放,跑久了会崩。我们那次第 9 天显存涨到 92%,重启后从最近 1 个检查点续跑,丢了 4 小时。

办公桌上亮着的双显示器

阶段 4:后训练

后训练分监督微调和偏好对齐两段。监督微调用准备好的指令数据,跑 2 到 3 轮;偏好对齐要有成对的"好答案"和"差答案",每组 2 条,标注工作量比微调大 3 倍。这一段决定模型说话像不像人,格式服从性也在这里定。

后训练最怕数据串味。指令数据里如果混进了评测集的题,分数会虚高,上线后掉得厉害。我们那次虚高 11 个点,原因就是 1 个标注同学把评测题改写了一遍放进训练集,改写后相似度还有 0.86。

阶段 5 到 6:评测与上线

评测跑 3 组:业务场景题、通用能力题、安全边界题。业务题看准确率,通用题看有没有退化,安全题看拒答是否合理。3 组都过线才进上线流程,任何 1 组掉超过 5 个点就回退到上一个检查点。

上线前还要做 1 次人工抽检,从评测集里抽 30 条,人工逐条看回答。机器打分对"答得流畅但事实错"这类情况识别不出来,人看 30 条大约 40 分钟,能抓出 2 到 5 条问题样本。

卡在哪:5 个常见卡点

  1. 损失突然下探。原因:数据里有大段重复,模型记住了。解:按段落哈希去重,重复率超 3 次整段丢。
  2. 训练中途显存溢出。原因:序列长度分布不均,长样本撑爆。解:按长度分桶,把 8192 长度的样本单独排批。
  3. 评测分数虚高。原因:训练集与评测集有重叠样本。解:开跑前做 1 次相似度比对,超过 0.8 的样本剔除。
  4. 后训练后通用能力下降。原因:指令数据太窄,模型只学会了 1 类回答。解:混入 20% 的通用对话数据。
  5. 续跑后指标接不上。原因:检查点没存优化器状态。解:每个检查点存 3 个文件,权重、优化器、学习率调度。

第 5 条吃过亏。我们第 1 次续跑只存了权重,优化器状态丢了,续跑后损失从 1.8 反弹到 2.4,等于白跑 4 天。后来改成每 500 步存 1 次全量状态,单次占 60GB 存储,值这个钱。

哪些环节可以完全脚本化

清洗、分词、数据打包、检查点保存这 4 段可以写成 1 条命令跑到底。数据配比不行,中文与英文的比例、代码与自然语言的比例,要按目标能力手工调,调 1 次配比做 1 次 2 小时的对照训练,看 3 个指标再定。

脚本化的部分要留日志。清洗掉多少、重复剔除多少、每个语言占多少,这 3 个数字在出问题时是唯一线索。我们那次损失异常,就是靠"重复段落占比从 4% 涨到 11%"这条日志定位到数据源换了。

白板上的手写流程与箭头

怎么核验训练是否正常

  1. 看损失曲线是否单调下降,允许小幅波动,连续 3 次上升就要停。
  2. 每 2000 步跑 1 次小样本评测,50 条题,分数应稳步上涨。
  3. 抽查 20 条生成结果,看有没有重复句、乱码、答非所问。
  4. 对比上一版模型在同一批题上的表现,掉超过 5 个点就回退。

第 2 条是提前发现问题的办法。等训完再评测,损失已经浪费了。每 2000 步评 1 次,1 次约 8 分钟,全程多花 2 小时,能提前 3 到 5 天发现方向错了。

第 3 条要抽固定位置。我习惯抽每条结果的前 200 字和最后 200 字,中间段用关键词扫,重复句多出在中后段。

整套流程跑 1 遍,7B 模型大约 3 周到 5 周,13B 以上 2 个月起。真正拖时间的环节多在数据侧,训练本身反而是按计划走的。把 4 类准备项提前 2 周备齐,整个周期能压掉 1/4。头尾各留 1 周缓冲,遇到指标回退时不至于推翻排期。

本文信息核对时间:2026-11