DeepSeek 这类大模型的训练,公开技术报告里拆成 5 段:数据准备、预训练、监督微调、偏好对齐、评测上线。DeepSeek-V3 的公开数据是 6710 亿总参数、每步激活 370 亿、预训练喂了 14.8 万亿 token,全程 278.8 万 H800 卡时。小团队复现不到这个量级,流程本身可以照着走。
我在做站内内容生成时接触过 2 个从零训小模型的团队,一个卡在数据配比,一个卡在评测口径。两件事都在流程的第 1 段和第 5 段,恰恰是最容易被跳过的地方。下面按段的顺序写,每段说清输入、产出和耗时占比。
| 阶段 | 输入 | 产出 | 算力占比 |
|---|---|---|---|
| 1 数据准备 | 网页、书籍、代码、问答语料 | 去重清洗后的语料与配比表 | 5% 到 10% |
| 2 预训练 | 万亿级 token 语料 | 基座模型权重 | 80% 以上 |
| 3 监督微调 | 数万到数十万条指令对 | 会按指令回答的模型 | 5% 左右 |
| 4 偏好对齐 | 成对比较数据、奖励信号 | 语气与取舍更稳的模型 | 5% 到 10% |
| 5 评测与上线 | 评测集、业务样本 | 评测报告与量化后的推理版本 | 2% 以内 |
第 2 段占掉八成算力,时间却不是八成。DeepSeek-V3 的技术报告写明,预训练期间出现过多次 loss 尖峰,每次要回退检查点、调整并行策略再续跑,这类返工不计入 278.8 万卡时。做预算时按 1.3 倍留余量更接近真实。
第 4 段在不同团队手里差别最大。有人用成对偏好数据做 DPO,有人用带规则奖励的强化学习,DeepSeek-R1 公开的路线是 GRPO 加规则化奖励,省掉一个和模型同量级的奖励模型。路线不同,第 3 段和第 4 段的数据格式也不同,返工多在衔接处。
| 项目 | 起步量 | 常见错配 |
|---|---|---|
| 训练框架 | 支持张量并行与混合精度 | 单卡脚本直接搬到多机 |
| 语料 | 按目标领域 100 亿 token 起 | 通用语料占比过高压掉专业词 |
| 指令数据 | 1 万条以上,覆盖 20 类任务 | 全是同一句式,模型只会一种腔 |
| 评测集 | 500 条以上人工标注样本 | 拿训练集切一刀当评测集 |
| 存储与网络 | 高速互联,检查点单独盘 | 检查点与语料同盘,写满就停训 |
第 2 行的配比要提前定。代码、中文网页、英文网页、数学题各占多少,会直接决定模型在哪类问题上偏强。DeepSeek-V3 公开的配比里中文占比高于多数英文语料训练的模型,中文问答的稳定性也与此有关。
第 4 行是复现失败最常见的坑。从训练集里切 500 条当评测集,模型见过这些样本,评测分数虚高 10 到 20 个点,上线后掉得厉害。评测集要单独收,标注人不能看过训练数据。
先去重,再过滤,最后配比。去重按段落指纹做,同一篇稿子在不同站点转载 30 次,只留 1 份;过滤去掉导航文字、模板句、乱码页;配比按领域定比例,写成 1 张表,后续每批数据按表取样。
这一步的产出物是 1 份配比表和 1 套清洗脚本。判断洗得够不够,抽 200 条看:如果 5 条以上是纯导航或广告,回去补规则。中文语料里电商详情页和聚合站的占比高,不专门清,模型学了满嘴促销话。
正式开跑前用 1% 的数据跑 1 遍完整链路,确认检查点能存能读、断点能续、日志能看。这一步花 1 到 2 天,能省掉后面 1 周的返工。多数团队第一次跑大任务,停在第 3 天发现检查点写不进去。
正式预训练按 token 数计进度,不按步数。每 1000 亿 token 存 1 个检查点,留最近 3 个。loss 出现尖峰时回退 1 个检查点,跳过出问题的那批数据再续。DeepSeek-V3 的报告里记录过这类回退,属于常规操作。
指令数据按任务分类,每类 500 条起,回答长度覆盖短答、中答、长答 3 档。只训长答,模型问什么都写 800 字;只训短答,复杂问题答不全。DeepSeek 系列模型的默认回答偏长,与这一步的数据长度分布有关。
微调 2 到 3 轮就够,轮次多了会把基座能力压掉。判断办法:拿 100 道常识题问微调前后的模型,答对率掉 5 个点以上,说明训过头,回退 1 轮。
准备 1 万组以上的成对回答,标注人选更好的那条,标出理由。用 DPO 直接在这批数据上训,或搭一个规则奖励做强化学习。规则奖励写得越具体越好,比如"答案里出现具体数字加 1 分,出现'可能'扣 1 分"。
这一步最容易训歪。奖励写得偏,模型会钻空子,比如把所有答案都写成 3 段小标题骗分。每训 200 步拿 50 条样本人工看一遍,发现格式统一但内容空,就回去改奖励。
第 3 条我遇到过 1 次。对方把客服话术全量喂进微调,模型回答任何问题都先来一句"您好,感谢您的咨询",技术问题也这样开头。补了 3000 条技术问答,语气才拉回来。
第 6 条常被留到最后。6710 亿参数的模型不做量化,单卡放不下,只能多卡并行,单次请求成本高数倍。上线前留 3 到 5 天做量化与压测,比上线后临时加机器省事。
第 1 条里目标领域那套最该重视,它决定模型在你的场景能不能用。通用分数涨了、领域分数没动,说明语料配比偏了,回到第 1 步调比例。
第 2 条要盲评。把基座模型和微调后的回答混在一起,去掉来源标记,让 3 个人分别挑。挑完再对答案,能看出微调到底带没带来提升。
第 1 条里的安全性评测别省。100 道诱导性提问跑 1 遍,看模型会不会顺着编造,通过率低于九成的,回到第 4 步重做偏好数据。
回到流程本身:数据准备、预训练、监督微调、偏好对齐、评测上线,5 段依次走。算力八成在第 2 段,返工多在第 2 段与第 4 段的衔接处。开工前把配比表、指令数据、独立评测集这 3 样备齐,能少走大半弯路。
本文信息核对时间:2026-11