从零训一遍 DeepSeek 级别的大模型,个人和小团队做不了:DeepSeek-V3 是 6710 亿参数的混合专家结构,官方技术报告写明预训练用了 14.8 万亿 token。能自己跑的,是拿开源权重做小规模复现,把流程走通一遍。门槛落在数据、卡数、工程人这三件事上。
我去年带 2 个人的小组走过这条路,用的是 8 张 80G 显卡,跑了 3 周。全程没碰预训练,做的是继续预训练加指令微调,流程一步没少。下面按「谁具备条件、要准备什么、怎么走、卡在哪、怎么核验」写。
第 2 条是硬线。7B 模型全参微调要 8 张 80G 卡起,LoRA 微调 4 张能起步,继续预训练再翻 1 倍。显存不够时降精度能挤一点空间,代价是收敛变慢,训练步数要加 20% 左右。
第 4 条最容易被低估。我第一周每天看 3 次 loss 曲线,第 10 天才看到曲线拐头。中途以为参数设错,回滚了 2 次,白烧 36 个卡时。
| 物件 | 规格 | 从哪来 |
|---|---|---|
| 基础权重 | 7B 或 14B 开源版本 | 模型发布页下载,注意许可范围 |
| 领域语料 | 5000 万字以上,纯文本 | 自有文档、公开语料库、行业资料 |
| 清洗脚本 | 去重、去噪、语言过滤 | 开源数据处理工具链 |
| 指令数据 | 3000 到 1 万条问答对 | 人工写或从业务记录里整理 |
| 评测集 | 200 条带标准答案 | 自己出题,覆盖 5 类任务 |
| 训练环境 | 8 张 80G 卡 + 高速互联 | 云上按小时租,或自有集群 |
表里第 3 行决定上限。语料里的页眉页脚、导航文字、重复段落不去掉,模型会把这些当正文学,输出里开始出现「版权所有」「下一页」。我见过 1 个团队跳过清洗,微调完的模型每段结尾都带 1 行网站名。
第 5 行要在训练前定好。评测集不参与训练,200 条足够看出方向对不对。题出得太窄,模型在这 200 条上分数高,换个问法就答不上。
写「让模型会用我们行业的术语答客服问题,评测集准确率从 42% 到 65%」,别写「提升模型能力」。目标里带数字,后面每一步都有判据。我这份目标写在 1 张 A4 纸上,贴在工位隔板上,2 周里改了 3 次。
目标定完再算预算。8 张卡跑 3 周,云上按小时计费,1 张卡 1 小时 20 元上下,总计 8 万元左右。这笔钱在开始前要批下来,跑到一半停机的损失比多租 1 周更大。
原始语料、清洗后语料、分词后数据集各留 1 份,加日期后缀。清洗规则改一次就存 1 个新版本,别覆盖。出问题时能对上是哪一版数据导致的。
用 1% 的数据、100 步跑一遍,看 loss 有没有下降、显存峰值多少、每小时能跑多少步。这一步 40 分钟能跑完,能拦住后面 80% 的低级错误。我每次都先跑这一步,有 1 次就是在这里发现数据加载器把标签错位了 1 个 token。
小规模跑通后再上全量。全量前把日志目录、检查点目录、保存间隔都设好,保存间隔按 30 分钟 1 次,跑 3 周的活不能只靠最后 1 次保存。
这 100 步的数据要留着。后面调参时拿它做对照,同一份数据、同样的步数,改 1 个参数看曲线变化,比全量跑 3 天再比快得多。
继续预训练用领域语料,学习率设在预训练末期的 1/10 左右,跑 1 到 2 个 epoch。之后做指令微调,用 3000 到 1 万条问答对,学习率再降 1 档。两步之间存 1 个检查点,别连着跑,中间要评测。
混合比例会影响结果。领域语料掺 20% 通用语料,模型不容易忘掉通用能力;全用领域语料,通用问答会退化,问它常识题开始答错。我第一版全用领域语料,通用题准确率掉了 11 个百分点。
每 200 步评测 1 次,看 3 个数:领域题准确率、通用题准确率、平均回答长度。领域题涨、通用题跌,说明掺比要调;两个都平,说明学习率太低或数据没喂进去。评测 1 轮 15 分钟,别省。
停的条件写清:领域题连续 3 次评测不再上涨,或通用题跌超 5 个百分点。满足任一条就停,别指望多跑 1 万步能翻盘。我第 2 次训练多跑了 8000 步,评测分数没动,白花 12 小时。
第 3 条我踩过 2 次。模板里少 1 个结束符,模型学不会在哪停,回答会一直续写,1 个问题能输出 3000 字。对齐模板的办法很土:拿官方示例的 3 条对话,逐字符比对。
第 6 条隐蔽。训练集和评测集都从同一批业务记录里抽,重叠率能到 15%,分数虚高 8 个百分点。抽完做 1 次文本去重,重叠清零再看分数。
第 2 条要人工看,别只看分数。分数高但格式散,上线后客服没法用。我抽 20 条大概 25 分钟,看 3 件事:开头有没有直接答、术语有没有混用、结尾有没有多余总结。
第 3 条是分辨过拟合的快办法。训练集里的问法换个主语、加个前提就答错,说明模型记住了样本。这时候要回去加数据,调参数没用。
整条流程走完,8 张卡 3 周,产出是 1 个能在自己业务上用的模型和 1 套可复用的数据管线。预训练那一步做不了,也不影响把流程摸清。下一步想扩到 14B,把卡数翻 1 倍、数据翻 1 倍就能接上。
本文信息核对时间:2026-11