deepseek大模型训练流程有哪些阶段?4 段各要多少算力

35分钟前发布

deepseek 这类大模型的训练分成 4 段:数据准备、预训练、后训练、评测与迭代。4 段里,外部团队能插手的是数据与后训练两段,预训练那一步要千卡级集群,单次跑完按月计时。想把流程弄明白,按这 4 段的输入与产出物顺着看,比记名词管用。

2026 年 5 月我帮 1 家做工业质检的团队梳理过这件事。他们花了 2 周找「怎么从零训一个模型」的资料,最后发现自己的活只是在已有的开源权重上做后训练,数据量 8 万条,用 8 张卡跑了 3 天。方向定错,前面 2 周全白费。

下面按阶段拆开:每段吃什么、产出什么、大概多久、容易在哪卡住。数字是量级参考,具体到你的任务要按参数量与数据量重算。

一、4 段各干什么,产出什么

阶段输入产出物耗时量级
数据准备网页、书籍、代码、自有文档清洗后的语料与配比表数周到数月,与预训练并行
预训练万亿级 token 语料基座权重(会续写,不会听话)千卡级集群跑数周到数月
后训练基座权重 + 指令数据 + 偏好数据能按指令作答的模型几十到几百卡,几天到两周
评测与迭代模型 + 评测集得分表与下一轮的调整项每轮 1 到 3 天

第 2 行与第 3 行的差别在于目标。预训练让模型学会「下一个词该是什么」,后训练让它学会「我问你答、按格式答、不该答的别答」。前一步决定知识面,后一步决定好不好用。

第 1 行最容易被低估。圈内公开的经验比例是 1 份可用语料背后要洗掉 3 到 10 份原始数据,去重、去噪、去有害内容各占一道工序。我接触过 1 个团队,清洗脚本改了 11 版,最后留下的语料只有抓取量的 12%。

二、开工前要备齐 5 样

  1. 语料:自有文档、公开数据集合计,按 token 数估,不是按文件个数估。
  2. 算力:卡型、卡数、可用时长,三者要一起确认,缺一项排不出计划。
  3. 训练框架:主流开源框架装好,分布式配置先在小规模上跑通。
  4. 评测集:至少 200 条带标准答案的题,覆盖你要它干的活。
  5. 人:1 个能改训练脚本的工程、1 个懂业务的标注负责人。

语料:按 token 估,不按文件估

1 个 10MB 的 Word 文档大约 300 万汉字,折算 token 要看分词器,中文大致 1 个字对 1 到 1.5 个 token。按文件数报进度,到训练时对不上,返工的就是数据这一环。

配比也要写下来。通用语料与领域语料的比例直接影响模型的口吻,领域语料占到 30% 以上时,回答会明显偏向行业内说法,通用问答的能力会往下掉一点。

算力:先算显存,再算卡数

显存估算有个粗办法:参数量乘每参数字节数,再乘上优化器状态与梯度的倍数。7B 模型做全参微调,单卡放不下就得切分;只做 LoRA,8 张 24GB 的卡能跑起来。先定训练方式,卡数自然就出来了。

机房内成排的服务器机柜与指示灯

三、流程逐步走

  1. 定任务与验收标准:写清模型要干的 3 类活,每类给 1 个可判定的通过条件。
  2. 收数据并打标:先标 500 条做试点,确认标注口径一致再放量。
  3. 切分数据集:训练、验证、测试按 8:1:1 分,测试集锁起来,调参期间不许看。
  4. 跑基线:用未微调的模型先测一遍,拿到起点分数,后面才有对比。
  5. 小规模试跑:取 1% 数据跑 100 步,确认 loss 下降、显存不爆、日志正常。
  6. 正式训练:按计划跑完全量,中途按固定间隔存 checkpoint。
  7. 后训练对齐:先用指令数据做监督微调,再用偏好数据调整回答取向。
  8. 评测与回归:跑测试集,同时抽 50 条人工看,两项都过才进下一轮。

第 5 步能省掉大半事故。1% 数据跑通再放量,显卡掉卡、通信超时、数据管道堵塞都会在这 100 步里露出来。跳过这步直接全量,跑到第 3 天才发现配置写错,损失的是整段机时。

第 6 步的 checkpoint 间隔按 2 小时设 1 次。训练中断时能从上个点接上,不必从头再来。存的时候保留最近 3 个,硬盘占用与恢复能力能兼顾。

四、每段耗时怎么估

预训练:看 token 数与集群效率

预训练的时间基本由 token 数与集群效率决定。千卡级集群跑万亿 token,效率按 40% 折算,量级在数周到数月之间。这一步外部团队插不上手,谈合作时直接问对方基座用的是哪一版、训练到什么时间点。

后训练:数据量决定大半

后训练的耗时弹性大。8 万条指令数据做监督微调,7B 模型 8 卡跑 1 到 2 天;数据涨到 50 万条,时间按比例上去,还要加上数据加载的等待。偏好对齐那一步通常比监督微调慢 2 到 3 倍,因为要做多次前向。

评测:拆成每日小评与每轮全评

评测容易被压到最后一晚做,结果发现分数不如基线,前面几天白跑。把评测拆成每日 1 次小评(200 条)与每轮 1 次全评,问题能在第 2 天就看见。

五、卡在哪

现象 1,loss 从第 200 步开始上下大幅波动。原因多为学习率偏大或批量太小,把学习率降一半、梯度累积加 2 倍,一般能压住。

现象 2,训练能跑但回答变短、变敷衍。后训练的数据里短答案占比过高,模型学会了「少说少错」。按答案长度分布重采样,把 200 字以上的样本补到 30% 左右。

现象 3,模型只认训练集里的问法,换个说法就答不上。指令数据的句式太单一,同 1 个意图至少写 5 种问法,数量比质量更影响泛化。

现象 4,多卡训练卡在通信上,GPU 利用率长期低于 50%。检查并行策略与网卡绑定,节点内用 NVLink、节点间走高速网络,配置写错时性能会掉一半以上。

现象 5,评测分数很高,上线后被客户投诉。测试集与训练集有重叠,或者评测题太简单。抽 30 条测试题人工核一遍,能查出大部分泄漏。

办公桌上摊开的打印资料与记号笔

六、怎么判断这次训练成了

  1. 测试集分数比基线高,且 3 次重跑的波动在 2 个百分点以内。
  2. 抽 50 条真实提问,人工通过率过 80%,拒答率低于 5%。
  3. 把模型换到 1 个没用过的场景问 10 个问题,答得住说明没过度拟合。

头一条里的波动范围要提前定。同一模型重跑 3 次分数差 5 个百分点,说明评测集太小或题目不稳,这个分数不能用来做决策。

后一条常被跳过。业务方最怕的是「训练集里样样好,换个客户就不会」。拿 10 个没见过的问法试一遍,5 分钟能看出模型的底子。

训练日志与数据版本要一起归档。半年后要复现同一版模型,缺了数据配比表或随机种子,复现不出来。我见过的团队里,把这两样存进同一个目录的,复现成功率高出一大截。

白板前的椅子与散落的便签

4 段里,数据与后训练是外部团队能动手的地方,预训练看成品的基座版本,评测按日跑。把这条边界认清,投入的方向就不会偏。

真要动手,先拿 500 条数据跑 1 轮完整流程,从收数据到评测走通一遍。全程大约 1 周,比看 10 篇论文更能判断这件事值不值得做。

本文信息核对时间:2026-11,各阶段的耗时与显存估算按公开资料与实操记录整理,具体数值随参数量与框架版本变化。