结论先给:deepseek 这类大模型的训练流程走 5 段,语料准备、预训练、长文扩展、后训练、评测上线,千卡级集群下总计 3 到 8 周。时间的大头在预训练,占一半以上;让人崩溃的部分在语料,占三成。想自己跑一遍,先看手里有没有 64 张以上的加速卡和 30 天连续机时。
2026 年 4 月我帮 1 家做行业模型的公司排过训练计划,从 8 张卡的单机实验走到 128 卡的正式训练,前后 41 天。真正跑在卡上的只有 19 天,剩下 22 天在洗数据、调并行、修训练崩溃。这个比例接近多数团队的实际情况:算力不是瓶颈,把人耗住的是准备和排错。
第 1 条里那个 40% 是我自己测的。8 张 4090 拼接跑 1.3B 的小模型,理论吞吐 1 天 40 亿 token,实际只跑到 16 亿,瓶颈在两机之间的网络。换成同机 8 卡加 NVLink,同样的活 11 小时跑完。
准备清单分 4 块:语料、代码、算力、评测集。缺评测集这一项最容易被忽略,模型跑完了不知道好不好,只能凭感觉看几个问答,返工的代价比补评测大得多。
| 项目 | 规模参考 | 怎么准备 | 耗时 |
|---|---|---|---|
| 预训练语料 | 1T 到 2T token | 抓取、去重、按语言与领域配比、脱敏 | 2 到 4 周 |
| 指令数据 | 10 万到 50 万条 | 人工写种子、模型扩写、人工抽检 5% | 1 到 2 周 |
| 偏好数据 | 2 万到 10 万对 | 同一问题取 2 个回答排序 | 5 到 10 天 |
| 评测集 | 500 到 3000 题 | 按业务场景出题,留 20% 做盲测 | 3 到 5 天 |
表里第 2 行的抽检比例别省。我见过 1 家把 30 万条扩写数据全量喂进去,模型学会了在答案末尾自动加一句免责声明,用户问什么它都加,改起来要重跑 1 轮后训练,白花 6 天。
五段流程里,前两段决定模型的天花板,后三段决定它好不好用。按顺序走,每段都有明确的交付物,交付物不合格就不进下一段,这样返工范围可控。
先做规则清洗,去 HTML 标签、去重复段落、去乱码;再做质量打分,用小模型给每条文本打 1 个 0 到 1 的分,低于 0.3 的丢掉;末了做配比,中文、英文、代码、数学各占多少按目标定,通用模型的中文占比多在 40% 上下。
去重这一步的工作量常被低估。1.2T token 的原始语料里,完全重复和近重复能占到 30%,不去重等于把同样的内容学 3 遍,模型容易在固定句式上打转。我用 1 台 32 核机器跑 MinHash 去重,20T 文本花了 38 小时。
这一段在 GPU 集群上跑,核心是把模型切分到多张卡上。7B 模型开 128 卡,用张量并行 8 加流水并行 4 加数据并行 4 的组合,单步耗时能压到 1.8 秒。训练脚本要开断点续跑,每 200 步存 1 次,机器掉卡不用从头来。
2026 年 5 月的一次事故:客户集群有 1 张卡的温度传感器坏了,训练跑到第 9 天开始周期性报错,日志里只有 1 行通信超时。定位花了 2 天,方式是逐节点压测带宽,把 4 台机器轮流下线才找到。这件事之后我固定加 1 步:开跑前跑 6 小时压测。
预训练完的模型上下文多是 4K 到 8K,要撑到 32K 以上得单独训 1 段。做法是把长文档切段后保持顺序喂进去,学习率降到预训练的 1/10,跑 200 到 500 步,再用 20 篇 3 万字的长文测召回。
这一段最容易被跳过,后果是长文档问答时模型只记得开头和结尾。我测过 1 个没做扩展的 7B 模型,问 2 万字报告里第 6 节的数据,10 次里答对 2 次;做完扩展后 10 次答对 7 次。
后训练分两步走。先做指令微调,用 10 万条以上的问答对把格式和语气定下来;再做偏好对齐,让模型在 2 个回答里选人更喜欢的那个。这一步的算力只占全流程的 5%,效果却直接决定用户第一眼的观感。
对齐阶段的数据质量比数量管用。同一批 2 万条偏好数据里混进 5% 的错标,模型就会学到奇怪的习惯,比如答完问题再反问一句。抽检 300 条能发现大部分错标,人工 4 小时够用。
评测跑 3 组:通用能力用公开题库,业务能力用自建 500 题,安全能力用 200 条对抗样本。3 组都过线才进灰度。灰度先放 5% 的流量,跑 3 天,看投诉率和平均答复长度有没有异常波动。
公开题库的分数别当唯一标准。我见过 1 个模型在 MMLU 上比基线高 4 分,实际用起来在中文长句上频繁断句,原因是训练语料里中文标点的处理没做好。业务题的分数更贴近真实体感。
第 2 条我吃过亏。第 1 次跑 128 卡,吞吐从第 4 天开始每天掉 3%,我以为正常,跑到第 9 天掉了 25%,才发现 1 台机器的网卡协商到了半速。换成每天记单步耗时之后,这类问题当天能看出来。
第 2 条用固定问题是重点,问题本身要包含 10 条常识、20 条业务、20 条需要算数的。我一般把这 50 条存成表格,每次训练完填 1 列结果,几轮下来能看出哪类能力在退。
第 4 条容易被忘。训练指标好看、上线一用就卡,多数是推理侧没做量化和批处理。7B 模型用 4 位量化后显存占用从 14G 降到 5G,单卡能并发 8 路,延迟只涨 15%。
本文信息核对时间:2026-11