deepseek 这类大模型的训练分成 4 段:数据准备、预训练、后训练、评测与迭代。4 段里,外部团队能插手的是数据与后训练两段,预训练那一步要千卡级集群,单次跑完按月计时。想把流程弄明白,按这 4 段的输入与产出物顺着看,比记名词管用。
2026 年 5 月我帮 1 家做工业质检的团队梳理过这件事。他们花了 2 周找「怎么从零训一个模型」的资料,最后发现自己的活只是在已有的开源权重上做后训练,数据量 8 万条,用 8 张卡跑了 3 天。方向定错,前面 2 周全白费。
下面按阶段拆开:每段吃什么、产出什么、大概多久、容易在哪卡住。数字是量级参考,具体到你的任务要按参数量与数据量重算。
| 阶段 | 输入 | 产出物 | 耗时量级 |
|---|---|---|---|
| 数据准备 | 网页、书籍、代码、自有文档 | 清洗后的语料与配比表 | 数周到数月,与预训练并行 |
| 预训练 | 万亿级 token 语料 | 基座权重(会续写,不会听话) | 千卡级集群跑数周到数月 |
| 后训练 | 基座权重 + 指令数据 + 偏好数据 | 能按指令作答的模型 | 几十到几百卡,几天到两周 |
| 评测与迭代 | 模型 + 评测集 | 得分表与下一轮的调整项 | 每轮 1 到 3 天 |
第 2 行与第 3 行的差别在于目标。预训练让模型学会「下一个词该是什么」,后训练让它学会「我问你答、按格式答、不该答的别答」。前一步决定知识面,后一步决定好不好用。
第 1 行最容易被低估。圈内公开的经验比例是 1 份可用语料背后要洗掉 3 到 10 份原始数据,去重、去噪、去有害内容各占一道工序。我接触过 1 个团队,清洗脚本改了 11 版,最后留下的语料只有抓取量的 12%。
1 个 10MB 的 Word 文档大约 300 万汉字,折算 token 要看分词器,中文大致 1 个字对 1 到 1.5 个 token。按文件数报进度,到训练时对不上,返工的就是数据这一环。
配比也要写下来。通用语料与领域语料的比例直接影响模型的口吻,领域语料占到 30% 以上时,回答会明显偏向行业内说法,通用问答的能力会往下掉一点。
显存估算有个粗办法:参数量乘每参数字节数,再乘上优化器状态与梯度的倍数。7B 模型做全参微调,单卡放不下就得切分;只做 LoRA,8 张 24GB 的卡能跑起来。先定训练方式,卡数自然就出来了。
第 5 步能省掉大半事故。1% 数据跑通再放量,显卡掉卡、通信超时、数据管道堵塞都会在这 100 步里露出来。跳过这步直接全量,跑到第 3 天才发现配置写错,损失的是整段机时。
第 6 步的 checkpoint 间隔按 2 小时设 1 次。训练中断时能从上个点接上,不必从头再来。存的时候保留最近 3 个,硬盘占用与恢复能力能兼顾。
预训练的时间基本由 token 数与集群效率决定。千卡级集群跑万亿 token,效率按 40% 折算,量级在数周到数月之间。这一步外部团队插不上手,谈合作时直接问对方基座用的是哪一版、训练到什么时间点。
后训练的耗时弹性大。8 万条指令数据做监督微调,7B 模型 8 卡跑 1 到 2 天;数据涨到 50 万条,时间按比例上去,还要加上数据加载的等待。偏好对齐那一步通常比监督微调慢 2 到 3 倍,因为要做多次前向。
评测容易被压到最后一晚做,结果发现分数不如基线,前面几天白跑。把评测拆成每日 1 次小评(200 条)与每轮 1 次全评,问题能在第 2 天就看见。
现象 1,loss 从第 200 步开始上下大幅波动。原因多为学习率偏大或批量太小,把学习率降一半、梯度累积加 2 倍,一般能压住。
现象 2,训练能跑但回答变短、变敷衍。后训练的数据里短答案占比过高,模型学会了「少说少错」。按答案长度分布重采样,把 200 字以上的样本补到 30% 左右。
现象 3,模型只认训练集里的问法,换个说法就答不上。指令数据的句式太单一,同 1 个意图至少写 5 种问法,数量比质量更影响泛化。
现象 4,多卡训练卡在通信上,GPU 利用率长期低于 50%。检查并行策略与网卡绑定,节点内用 NVLink、节点间走高速网络,配置写错时性能会掉一半以上。
现象 5,评测分数很高,上线后被客户投诉。测试集与训练集有重叠,或者评测题太简单。抽 30 条测试题人工核一遍,能查出大部分泄漏。
头一条里的波动范围要提前定。同一模型重跑 3 次分数差 5 个百分点,说明评测集太小或题目不稳,这个分数不能用来做决策。
后一条常被跳过。业务方最怕的是「训练集里样样好,换个客户就不会」。拿 10 个没见过的问法试一遍,5 分钟能看出模型的底子。
训练日志与数据版本要一起归档。半年后要复现同一版模型,缺了数据配比表或随机种子,复现不出来。我见过的团队里,把这两样存进同一个目录的,复现成功率高出一大截。
4 段里,数据与后训练是外部团队能动手的地方,预训练看成品的基座版本,评测按日跑。把这条边界认清,投入的方向就不会偏。
真要动手,先拿 500 条数据跑 1 轮完整流程,从收数据到评测走通一遍。全程大约 1 周,比看 10 篇论文更能判断这件事值不值得做。
本文信息核对时间:2026-11,各阶段的耗时与显存估算按公开资料与实操记录整理,具体数值随参数量与框架版本变化。