deepseek大模型训练流程要多少天?三段各占几成

5小时前发布

结论先给:deepseek 这类大模型的训练流程走 5 段,语料准备、预训练、长文扩展、后训练、评测上线,千卡级集群下总计 3 到 8 周。时间的大头在预训练,占一半以上;让人崩溃的部分在语料,占三成。想自己跑一遍,先看手里有没有 64 张以上的加速卡和 30 天连续机时。

2026 年 4 月我帮 1 家做行业模型的公司排过训练计划,从 8 张卡的单机实验走到 128 卡的正式训练,前后 41 天。真正跑在卡上的只有 19 天,剩下 22 天在洗数据、调并行、修训练崩溃。这个比例接近多数团队的实际情况:算力不是瓶颈,把人耗住的是准备和排错。

谁能跑:3 个硬条件

  1. 加速卡规模。7B 参数全量预训练要 64 张 80G 卡起步,想压到 2 周内跑完要上到 256 张。消费级显卡拼机器能跑,通信一慢,卡越多利用率越低,8 张卡拼接实测只有 40% 的利用率。
  2. 存储与带宽。语料按 1.2T token 算,原始文本加清洗后的版本要占 20T 以上空间,读盘速度低于 2GB/s 时,卡会等数据,训练吞吐掉 3 成。
  3. 人。至少 1 个懂分布式训练的工程师,1 个懂数据配比的,1 个负责评测。3 个人是最小配置,2 个人的团队要么砍掉长文扩展,要么把后训练外包。

第 1 条里那个 40% 是我自己测的。8 张 4090 拼接跑 1.3B 的小模型,理论吞吐 1 天 40 亿 token,实际只跑到 16 亿,瓶颈在两机之间的网络。换成同机 8 卡加 NVLink,同样的活 11 小时跑完。

要准备什么

准备清单分 4 块:语料、代码、算力、评测集。缺评测集这一项最容易被忽略,模型跑完了不知道好不好,只能凭感觉看几个问答,返工的代价比补评测大得多。

项目规模参考怎么准备耗时
预训练语料1T 到 2T token抓取、去重、按语言与领域配比、脱敏2 到 4 周
指令数据10 万到 50 万条人工写种子、模型扩写、人工抽检 5%1 到 2 周
偏好数据2 万到 10 万对同一问题取 2 个回答排序5 到 10 天
评测集500 到 3000 题按业务场景出题,留 20% 做盲测3 到 5 天

表里第 2 行的抽检比例别省。我见过 1 家把 30 万条扩写数据全量喂进去,模型学会了在答案末尾自动加一句免责声明,用户问什么它都加,改起来要重跑 1 轮后训练,白花 6 天。

机房里的服务器机架

流程怎么走

五段流程里,前两段决定模型的天花板,后三段决定它好不好用。按顺序走,每段都有明确的交付物,交付物不合格就不进下一段,这样返工范围可控。

第 1 段 语料处理

先做规则清洗,去 HTML 标签、去重复段落、去乱码;再做质量打分,用小模型给每条文本打 1 个 0 到 1 的分,低于 0.3 的丢掉;末了做配比,中文、英文、代码、数学各占多少按目标定,通用模型的中文占比多在 40% 上下。

去重这一步的工作量常被低估。1.2T token 的原始语料里,完全重复和近重复能占到 30%,不去重等于把同样的内容学 3 遍,模型容易在固定句式上打转。我用 1 台 32 核机器跑 MinHash 去重,20T 文本花了 38 小时。

第 2 段 预训练

这一段在 GPU 集群上跑,核心是把模型切分到多张卡上。7B 模型开 128 卡,用张量并行 8 加流水并行 4 加数据并行 4 的组合,单步耗时能压到 1.8 秒。训练脚本要开断点续跑,每 200 步存 1 次,机器掉卡不用从头来。

2026 年 5 月的一次事故:客户集群有 1 张卡的温度传感器坏了,训练跑到第 9 天开始周期性报错,日志里只有 1 行通信超时。定位花了 2 天,方式是逐节点压测带宽,把 4 台机器轮流下线才找到。这件事之后我固定加 1 步:开跑前跑 6 小时压测。

第 3 段 长文扩展

预训练完的模型上下文多是 4K 到 8K,要撑到 32K 以上得单独训 1 段。做法是把长文档切段后保持顺序喂进去,学习率降到预训练的 1/10,跑 200 到 500 步,再用 20 篇 3 万字的长文测召回。

这一段最容易被跳过,后果是长文档问答时模型只记得开头和结尾。我测过 1 个没做扩展的 7B 模型,问 2 万字报告里第 6 节的数据,10 次里答对 2 次;做完扩展后 10 次答对 7 次。

第 4 段 后训练

后训练分两步走。先做指令微调,用 10 万条以上的问答对把格式和语气定下来;再做偏好对齐,让模型在 2 个回答里选人更喜欢的那个。这一步的算力只占全流程的 5%,效果却直接决定用户第一眼的观感。

对齐阶段的数据质量比数量管用。同一批 2 万条偏好数据里混进 5% 的错标,模型就会学到奇怪的习惯,比如答完问题再反问一句。抽检 300 条能发现大部分错标,人工 4 小时够用。

第 5 段 评测与上线

评测跑 3 组:通用能力用公开题库,业务能力用自建 500 题,安全能力用 200 条对抗样本。3 组都过线才进灰度。灰度先放 5% 的流量,跑 3 天,看投诉率和平均答复长度有没有异常波动。

公开题库的分数别当唯一标准。我见过 1 个模型在 MMLU 上比基线高 4 分,实际用起来在中文长句上频繁断句,原因是训练语料里中文标点的处理没做好。业务题的分数更贴近真实体感。

办公桌上的双显示器 贴着便利贴的白板

卡在哪:5 个常见故障

  1. Loss 在第 1 万步突然飙高。原因:学习率预热太短或数据里有异常样本。解:回滚到 8000 步的断点,把学习率降 20%,同时抽样检查那批数据。
  2. 训练吞吐逐天下降。原因:显存碎片或某个节点网络降速。解:每天记 1 次单步耗时,涨 10% 就查节点带宽。
  3. 多机训练卡在初始化。原因:节点间时钟不同步或端口被占。解:开跑前统一校时,固定用 1 组高位端口。
  4. 后训练后模型变笨。原因:指令数据太窄,覆盖不到预训练学过的能力。解:指令数据里混 20% 通用问答,别全是业务题。
  5. 长文测试掉分。原因:位置编码的外推没做,或训练时长文样本太少。解:补 5 万条 8K 以上的样本再跑 1 段。

第 2 条我吃过亏。第 1 次跑 128 卡,吞吐从第 4 天开始每天掉 3%,我以为正常,跑到第 9 天掉了 25%,才发现 1 台机器的网卡协商到了半速。换成每天记单步耗时之后,这类问题当天能看出来。

怎么核验训练跑成了

  1. 看 loss 曲线的形状,正常是前 2000 步快速下降,之后平缓下行,中途不该有 2 次以上的尖峰。
  2. 用 50 条固定问题各问 3 次,同一问题的 3 个回答在事实层面一致,说明没有明显的随机漂移。
  3. 跑 20 篇长文档问答,答对 14 篇以上才算长文能力可用。
  4. 测推理延迟,7B 模型在单张 80G 卡上首字返回控制在 800 毫秒以内,超了要查量化方式和批大小。

第 2 条用固定问题是重点,问题本身要包含 10 条常识、20 条业务、20 条需要算数的。我一般把这 50 条存成表格,每次训练完填 1 列结果,几轮下来能看出哪类能力在退。

第 4 条容易被忘。训练指标好看、上线一用就卡,多数是推理侧没做量化和批处理。7B 模型用 4 位量化后显存占用从 14G 降到 5G,单卡能并发 8 路,延迟只涨 15%。

本文信息核对时间:2026-11