deepseek大模型训练流程要多久?6 个阶段各干什么

33分钟前发布

先把话说清:DeepSeek 公开的技术报告里,一次完整训练要走 6 个阶段,从语料清洗到上线评测,团队规模下大概 2 到 4 个月,其中预训练占掉一半以上时间。个人用 1 张消费级显卡跑不通全流程,能做到的是拿开源权重做后训练,或者用小参数模型走一遍缩小版。

我把这 6 个阶段按"谁在做、做多久、卡在哪"拆开写。看完你能判断两件事:自己动手该从哪一步切入,以及外包或者采购时报的方案里少了哪一环。

谁适合自己跑一遍

4 类情况值得自己动手。手里有别人拿不到的领域语料,比如 10 年积累的工单;要做的是窄任务,参数量 7B 以下就够;团队里有 1 个懂分布式训练的人;预算能覆盖 8 张以上的卡租 1 个月。四条里占不到 2 条,买现成服务更划算。

反过来讲,只是想"看看大模型怎么练出来的",用 0.5B 级别的小模型在 1 张 24G 卡上跑 1 遍缩小版就够,1 天能出结果。流程一样,差别在数据量和卡数,先把这个流程走通,再谈上规模。

要先准备什么

准备项要什么没有会怎样量级参考
语料去重后的纯文本,带来源标记loss 降得下去,答出来的东西空1B 参数配 20B 以上 token
算力8 卡起,NVLink 或高速网单卡跑到一半显存就满7B 模型全参训练 8 卡约 2 周
框架支持 ZeRO 或张量并行的训练框架手写并行,调试时间翻 3 倍1 套环境配 2 到 3 天
评测集100 条以上带标准答案的题训练完不知道是变好还是变差分 5 类任务各 20 条

表里第 1 行最容易省错。语料清洗占整个项目 30% 左右的工作量,去重、去模板、去广告、语种识别、质量打分,5 道工序漏 1 道,后面全得返工。我见过 1 个项目预训练跑了 11 天,最后发现语料里 20% 是采集站的重复页,只能从头再来。

评测集要在训练之前定好,不要在训练之后现编。现编的评测集一定会往你已经跑出来的方向偏,等于自己给自己打分。

机房机架上的服务器近景

六个阶段怎么走

阶段一:语料清洗

先按来源分桶:网页、书籍、代码、论文、对话各一堆,每堆用不同的清洗规则。网页去模板和导航栏,书籍处理版权页和目录,代码去掉自动生成的重复文件。去重常用 MinHash,相似度阈值卡在 0.8 附近,能去掉大部分转载。

质量打分这一步决定上限。常见做法是训 1 个小分类器,用高质量样本做正例,给每条语料打 0 到 1 分,低于 0.3 的丢掉。这一步做完,语料体积通常从几十 TB 掉到原来的 10% 到 20%。

阶段二:分词与打包

训 1 个 BPE 分词器,词表 10 万级,中文占比高的语料要把中文词表配足。词表配小了,同样一段中文会多出 30% 的 token,训练成本和推理成本一起上去。

打包是把文档拼成固定长度的序列,常见 2048 或 4096。拼接处要切断注意力,别让上一篇文章的末句影响下一篇的开头,否则模型会学到莫名其妙的跨文档关联。

分词器训完先做 1 个检查:拿 100 条中文样本编码再解码,看还原率。还原率低于 99% 说明词表有洞,生僻字被切成了字节,这类样本进训练会拖慢收敛,还会让模型偶尔输出乱码。

阶段三:预训练

这一步最耗卡。7B 模型用 8 张 A100 跑 1 万亿 token,用时 2 到 3 周;70B 级别要上千卡,周期以月计。学习率走 warmup 加余弦衰减,warmup 步数占总步数的 1% 到 2%。

checkpoint 每 500 到 1000 步存 1 次,存的时候保留最近 3 个加 1 个早期版本。loss 突然往上跳的时候,回滚到这里是最快的止损动作,别急着改超参。

阶段四:监督微调

指令数据从几万条到十几万条,质量比数量要紧。1 万条人工精标的数据,效果通常好过 10 万条自动生成的。格式统一成"指令—输入—输出"三段,长度控制在 2048 token 以内。

训练 1 到 3 个 epoch 就停,再多就开始背题。判断办法是拿 50 条没进训练集的题问它,答得越像模板、越不针对具体条件,说明背得越狠。

阶段五:偏好对齐

两条路:先训奖励模型再走 PPO,或者直接用 DPO 这类不训奖励模型的方法。前者效果上限高,调起来麻烦;后者工程简单,1 个阶段就能出结果。团队只有 1 到 2 个人,先用后者。

这一步要压住 KL 散度,别让模型跑得太远。压不住的典型表现是回答变得又长又客气,实际信息量比对齐前少。对齐前后各跑 1 遍同一套评测,分数掉超过 5%,说明压过头了。

偏好数据 2000 到 5000 对起步就够用。每对写清"哪个更好、好在哪",只标 A 或 B 不写理由的,训完模型学不到判断依据,只会学到更长的那个更好。

阶段六:评测与上线

评测分三层:公开榜单看位置,自建 100 条看能力,人工盲测看体感。人工盲测让 3 个人各看 30 组回答,不知道哪个是哪个模型出的,只投票选更好的那个,比看榜单准。

上线前做量化,把权重压到 8 位或者 4 位,显存需求能降到原来的 1/2 到 1/4。量化完重跑 1 遍评测,掉分超过 3% 就换回高位宽,别为了省卡把效果赔进去。

办公桌上的显示器与机械键盘

卡在哪

  1. 语料脏,loss 一路降但答得空。解:抽 200 条训练样本人工看,脏样本超过 5% 就回清洗环节。
  2. 显存不够。解:开梯度累积、激活重算、ZeRO 分片,先降 batch 再降序列长度。
  3. loss 出现尖峰。解:回滚最近 1 个 checkpoint,降学习率 30%,同时查那批数据有没有乱码。
  4. 分词效率低。解:重训词表,把中文常用词补进去,看平均每条样本的 token 数有没有降。
  5. SFT 之后只会一种腔调。解:把指令数据按任务类型分 5 组,每组占比不超过 40%。
  6. 对齐之后拒答变多。解:放宽 KL 系数,把"必须拒答"的样本从训练集里剔掉。

第 3 条我遇到过 2 次,两次都是同一批网页语料里混进了二进制文件转出来的乱码。现在清洗那一步固定加 1 个检查:随机抽 1000 条,统计非中文非英文的字符占比,超过 1% 就整批重洗。

第 6 条常被忽略。对齐阶段灌进去的安全样本太多,模型会把正常问题也当成敏感问题,答一句"无法回答"就结束。这类样本占比控制在 10% 以内,剩余的靠规则过滤兜底。

白板前的空白纸与马克笔

怎么核验训练没跑歪

  1. 固定 100 条评测集,每个阶段结束跑 1 次,记录分数变化。
  2. 看 loss 曲线和梯度范数,两者同时异常才是真问题。
  3. 人工盲测 30 组,双盲投票,胜率低于 55% 就当没进步。
  4. 拿 10 条超长输入试 1 遍,看会不会在中途断掉或者重复。

第 1 条要保留历史记录,别只记最后 1 次。分数从 62 掉到 58 再回到 61,和一路平在 60,是两种完全不同的问题,前者说明中间那版数据有问题。

第 4 条测的是长度外推。训练时序列长度 4096,喂 6000 token 的输入,模型可能开始复读。用户真实输入经常超过训练长度,这一项不过,上线后前 1 周就会收到反馈。

6 个阶段里,前 3 个决定上限,后 3 个决定手感。时间紧的团队先把前 3 步的数据和分词做扎实,后 3 步各留 1 周就够跑通。

本文信息核对时间:2026-11