deepseek大模型训练流程分几个阶段?每阶段交付什么先说清

54分钟前发布

DeepSeek 这类大模型的训练,公开技术报告里拆成 5 段:数据准备、预训练、监督微调、偏好对齐、评测上线。DeepSeek-V3 的公开数据是 6710 亿总参数、每步激活 370 亿、预训练喂了 14.8 万亿 token,全程 278.8 万 H800 卡时。小团队复现不到这个量级,流程本身可以照着走。

我在做站内内容生成时接触过 2 个从零训小模型的团队,一个卡在数据配比,一个卡在评测口径。两件事都在流程的第 1 段和第 5 段,恰恰是最容易被跳过的地方。下面按段的顺序写,每段说清输入、产出和耗时占比。

整条链路分几个阶段

阶段输入产出算力占比
1 数据准备网页、书籍、代码、问答语料去重清洗后的语料与配比表5% 到 10%
2 预训练万亿级 token 语料基座模型权重80% 以上
3 监督微调数万到数十万条指令对会按指令回答的模型5% 左右
4 偏好对齐成对比较数据、奖励信号语气与取舍更稳的模型5% 到 10%
5 评测与上线评测集、业务样本评测报告与量化后的推理版本2% 以内

第 2 段占掉八成算力,时间却不是八成。DeepSeek-V3 的技术报告写明,预训练期间出现过多次 loss 尖峰,每次要回退检查点、调整并行策略再续跑,这类返工不计入 278.8 万卡时。做预算时按 1.3 倍留余量更接近真实。

第 4 段在不同团队手里差别最大。有人用成对偏好数据做 DPO,有人用带规则奖励的强化学习,DeepSeek-R1 公开的路线是 GRPO 加规则化奖励,省掉一个和模型同量级的奖励模型。路线不同,第 3 段和第 4 段的数据格式也不同,返工多在衔接处。

开工前要准备什么

项目起步量常见错配
训练框架支持张量并行与混合精度单卡脚本直接搬到多机
语料按目标领域 100 亿 token 起通用语料占比过高压掉专业词
指令数据1 万条以上,覆盖 20 类任务全是同一句式,模型只会一种腔
评测集500 条以上人工标注样本拿训练集切一刀当评测集
存储与网络高速互联,检查点单独盘检查点与语料同盘,写满就停训

第 2 行的配比要提前定。代码、中文网页、英文网页、数学题各占多少,会直接决定模型在哪类问题上偏强。DeepSeek-V3 公开的配比里中文占比高于多数英文语料训练的模型,中文问答的稳定性也与此有关。

第 4 行是复现失败最常见的坑。从训练集里切 500 条当评测集,模型见过这些样本,评测分数虚高 10 到 20 个点,上线后掉得厉害。评测集要单独收,标注人不能看过训练数据。

机房里的机架与指示灯

每一步怎么做

第 1 步:把语料洗到能用

先去重,再过滤,最后配比。去重按段落指纹做,同一篇稿子在不同站点转载 30 次,只留 1 份;过滤去掉导航文字、模板句、乱码页;配比按领域定比例,写成 1 张表,后续每批数据按表取样。

这一步的产出物是 1 份配比表和 1 套清洗脚本。判断洗得够不够,抽 200 条看:如果 5 条以上是纯导航或广告,回去补规则。中文语料里电商详情页和聚合站的占比高,不专门清,模型学了满嘴促销话。

第 2 步:预训练先跑通小规模

正式开跑前用 1% 的数据跑 1 遍完整链路,确认检查点能存能读、断点能续、日志能看。这一步花 1 到 2 天,能省掉后面 1 周的返工。多数团队第一次跑大任务,停在第 3 天发现检查点写不进去。

正式预训练按 token 数计进度,不按步数。每 1000 亿 token 存 1 个检查点,留最近 3 个。loss 出现尖峰时回退 1 个检查点,跳过出问题的那批数据再续。DeepSeek-V3 的报告里记录过这类回退,属于常规操作。

第 3 步:监督微调定语气

指令数据按任务分类,每类 500 条起,回答长度覆盖短答、中答、长答 3 档。只训长答,模型问什么都写 800 字;只训短答,复杂问题答不全。DeepSeek 系列模型的默认回答偏长,与这一步的数据长度分布有关。

微调 2 到 3 轮就够,轮次多了会把基座能力压掉。判断办法:拿 100 道常识题问微调前后的模型,答对率掉 5 个点以上,说明训过头,回退 1 轮。

第 4 步:偏好对齐收语气

准备 1 万组以上的成对回答,标注人选更好的那条,标出理由。用 DPO 直接在这批数据上训,或搭一个规则奖励做强化学习。规则奖励写得越具体越好,比如"答案里出现具体数字加 1 分,出现'可能'扣 1 分"。

这一步最容易训歪。奖励写得偏,模型会钻空子,比如把所有答案都写成 3 段小标题骗分。每训 200 步拿 50 条样本人工看一遍,发现格式统一但内容空,就回去改奖励。

桌面上的服务器面板与线缆

卡在哪:6 个常见卡点

  1. loss 突然冲到很高。原因:某批数据异常或学习率过高。解:回退 1 个检查点,跳过该批数据,学习率降 1 个数量级。
  2. 多机训练速度上不去。原因:卡间通信成瓶颈。解:调并行切分策略,把通信量大的层放同一台机器。
  3. 微调后模型只会一种腔。原因:指令数据句式单一。解:补 5 类不同问法,每类 300 条。
  4. 评测分数高但上线差。原因:评测集与训练集重叠。解:重收 500 条独立样本再评。
  5. 长文本答到一半断。原因:位置编码外推没做。解:训练时混入 10% 长样本,或换支持长上下文的结构。
  6. 推理成本压不下来。原因:没做量化与批处理。解:上线前做 8 位量化,配合动态批处理。

第 3 条我遇到过 1 次。对方把客服话术全量喂进微调,模型回答任何问题都先来一句"您好,感谢您的咨询",技术问题也这样开头。补了 3000 条技术问答,语气才拉回来。

第 6 条常被留到最后。6710 亿参数的模型不做量化,单卡放不下,只能多卡并行,单次请求成本高数倍。上线前留 3 到 5 天做量化与压测,比上线后临时加机器省事。

怎么核验训完了

  1. 跑 3 套评测:通用能力、目标领域、安全性。三套分数都记下来,和基座模型对比。
  2. 抽 50 条真实业务问题人工看。回答是否切题、有没有编造、长度是否合适,这 3 项各打 1 次分。
  3. 看推理延迟与显存占用。单次请求在 3 秒内、显存留 20% 余量,才算能上线。

第 1 条里目标领域那套最该重视,它决定模型在你的场景能不能用。通用分数涨了、领域分数没动,说明语料配比偏了,回到第 1 步调比例。

第 2 条要盲评。把基座模型和微调后的回答混在一起,去掉来源标记,让 3 个人分别挑。挑完再对答案,能看出微调到底带没带来提升。

第 1 条里的安全性评测别省。100 道诱导性提问跑 1 遍,看模型会不会顺着编造,通过率低于九成的,回到第 4 步重做偏好数据。

白板上的流程图与便签

回到流程本身:数据准备、预训练、监督微调、偏好对齐、评测上线,5 段依次走。算力八成在第 2 段,返工多在第 2 段与第 4 段的衔接处。开工前把配比表、指令数据、独立评测集这 3 样备齐,能少走大半弯路。

本文信息核对时间:2026-11