deepseek大模型训练流程能自己跑一遍吗?3 项门槛先过

46分钟前发布

从零训一遍 DeepSeek 级别的大模型,个人和小团队做不了:DeepSeek-V3 是 6710 亿参数的混合专家结构,官方技术报告写明预训练用了 14.8 万亿 token。能自己跑的,是拿开源权重做小规模复现,把流程走通一遍。门槛落在数据、卡数、工程人这三件事上。

我去年带 2 个人的小组走过这条路,用的是 8 张 80G 显卡,跑了 3 周。全程没碰预训练,做的是继续预训练加指令微调,流程一步没少。下面按「谁具备条件、要准备什么、怎么走、卡在哪、怎么核验」写。

谁具备条件

  1. 手上有一份能用的领域语料。低于 5000 万字,继续预训练的效果看不出来,先攒数据。
  2. 至少有 4 张 80G 显存的卡。8 张能跑 7B 规模的 LoRA,4 张只能跑 3B 以下。
  3. 有 1 个懂分布式训练的工程师。没这个人,卡会空转,日志里的 OOM 会连着报 3 天。
  4. 能接受 2 到 4 周只出中间结果。这段时间没有可交付的东西,只有日志和曲线。

第 2 条是硬线。7B 模型全参微调要 8 张 80G 卡起,LoRA 微调 4 张能起步,继续预训练再翻 1 倍。显存不够时降精度能挤一点空间,代价是收敛变慢,训练步数要加 20% 左右。

第 4 条最容易被低估。我第一周每天看 3 次 loss 曲线,第 10 天才看到曲线拐头。中途以为参数设错,回滚了 2 次,白烧 36 个卡时。

要准备什么

物件规格从哪来
基础权重7B 或 14B 开源版本模型发布页下载,注意许可范围
领域语料5000 万字以上,纯文本自有文档、公开语料库、行业资料
清洗脚本去重、去噪、语言过滤开源数据处理工具链
指令数据3000 到 1 万条问答对人工写或从业务记录里整理
评测集200 条带标准答案自己出题,覆盖 5 类任务
训练环境8 张 80G 卡 + 高速互联云上按小时租,或自有集群

表里第 3 行决定上限。语料里的页眉页脚、导航文字、重复段落不去掉,模型会把这些当正文学,输出里开始出现「版权所有」「下一页」。我见过 1 个团队跳过清洗,微调完的模型每段结尾都带 1 行网站名。

第 5 行要在训练前定好。评测集不参与训练,200 条足够看出方向对不对。题出得太窄,模型在这 200 条上分数高,换个问法就答不上。

机房机架上的服务器指示灯

怎么办:5 个步骤

第 1 步:把目标写成 1 句可验收的话

写「让模型会用我们行业的术语答客服问题,评测集准确率从 42% 到 65%」,别写「提升模型能力」。目标里带数字,后面每一步都有判据。我这份目标写在 1 张 A4 纸上,贴在工位隔板上,2 周里改了 3 次。

目标定完再算预算。8 张卡跑 3 周,云上按小时计费,1 张卡 1 小时 20 元上下,总计 8 万元左右。这笔钱在开始前要批下来,跑到一半停机的损失比多租 1 周更大。

第 2 步:清洗语料并留 3 份快照

原始语料、清洗后语料、分词后数据集各留 1 份,加日期后缀。清洗规则改一次就存 1 个新版本,别覆盖。出问题时能对上是哪一版数据导致的。

  1. 按段落切分,单段控制在 512 到 1024 个 token。
  2. 去掉重复率超过 3 次的段落,去重后语料量通常剩 60% 到 75%。
  3. 过滤乱码与非目标语言,中文占比低于 85% 的段落丢掉。
  4. 统计长度分布,超过 5% 的段落集中在 1 个长度区间,说明切分规则有问题。

第 3 步:先跑 1 个小规模验证

用 1% 的数据、100 步跑一遍,看 loss 有没有下降、显存峰值多少、每小时能跑多少步。这一步 40 分钟能跑完,能拦住后面 80% 的低级错误。我每次都先跑这一步,有 1 次就是在这里发现数据加载器把标签错位了 1 个 token。

小规模跑通后再上全量。全量前把日志目录、检查点目录、保存间隔都设好,保存间隔按 30 分钟 1 次,跑 3 周的活不能只靠最后 1 次保存。

这 100 步的数据要留着。后面调参时拿它做对照,同一份数据、同样的步数,改 1 个参数看曲线变化,比全量跑 3 天再比快得多。

第 4 步:继续预训练再加微调

继续预训练用领域语料,学习率设在预训练末期的 1/10 左右,跑 1 到 2 个 epoch。之后做指令微调,用 3000 到 1 万条问答对,学习率再降 1 档。两步之间存 1 个检查点,别连着跑,中间要评测。

混合比例会影响结果。领域语料掺 20% 通用语料,模型不容易忘掉通用能力;全用领域语料,通用问答会退化,问它常识题开始答错。我第一版全用领域语料,通用题准确率掉了 11 个百分点。

桌面上的显示器与键盘

第 5 步:按评测集判定停不停

每 200 步评测 1 次,看 3 个数:领域题准确率、通用题准确率、平均回答长度。领域题涨、通用题跌,说明掺比要调;两个都平,说明学习率太低或数据没喂进去。评测 1 轮 15 分钟,别省。

停的条件写清:领域题连续 3 次评测不再上涨,或通用题跌超 5 个百分点。满足任一条就停,别指望多跑 1 万步能翻盘。我第 2 次训练多跑了 8000 步,评测分数没动,白花 12 小时。

卡在哪:6 个常见卡点

  1. 显存溢出,报 OOM。原因:批次太大或序列太长。解:批大小减半,开梯度累积补齐等效批量。
  2. loss 一上来就变成无效值,日志里打着空值。原因:学习率过高或数据里有空样本。解:学习率降 10 倍,过滤空样本。
  3. 训练能跑,推理答非所问。原因:微调时把对话模板套错了。解:对齐官方模板,检查起始符与结束符。
  4. 多卡速度上不去。原因:卡间通信成瓶颈。解:换高速互联,或用数据并行替代模型并行。
  5. 检查点存不下。原因:每步都存全量。解:只存可训练参数,或按间隔存全量、其余存增量。
  6. 评测分数虚高。原因:评测集与训练集有重叠。解:做 1 次去重比对,重合样本剔掉。

第 3 条我踩过 2 次。模板里少 1 个结束符,模型学不会在哪停,回答会一直续写,1 个问题能输出 3000 字。对齐模板的办法很土:拿官方示例的 3 条对话,逐字符比对。

第 6 条隐蔽。训练集和评测集都从同一批业务记录里抽,重叠率能到 15%,分数虚高 8 个百分点。抽完做 1 次文本去重,重叠清零再看分数。

白板上的流程草图与便签

怎么核验跑通了

  1. 评测集分数复现 1 次。同一检查点跑 3 遍,分数波动在 2 个百分点以内。
  2. 人工抽 20 条看回答。术语用对、格式对、该停就停,3 项都过。
  3. 换 10 个没见过的问法。答得上来说明学到的内容能推广到新问法,背题的模型在这里会掉 20 分以上。

第 2 条要人工看,别只看分数。分数高但格式散,上线后客服没法用。我抽 20 条大概 25 分钟,看 3 件事:开头有没有直接答、术语有没有混用、结尾有没有多余总结。

第 3 条是分辨过拟合的快办法。训练集里的问法换个主语、加个前提就答错,说明模型记住了样本。这时候要回去加数据,调参数没用。

整条流程走完,8 张卡 3 周,产出是 1 个能在自己业务上用的模型和 1 套可复用的数据管线。预训练那一步做不了,也不影响把流程摸清。下一步想扩到 14B,把卡数翻 1 倍、数据翻 1 倍就能接上。

本文信息核对时间:2026-11