预训练和微调有什么区别？用一个比喻说清

用读书打比方最直观。

预训练相当于通读大量的书。这个阶段它不分好坏、不挑内容，就是大量地读，学会语言的规律、常识、各类知识。读完它已经能接话，但不知道什么该说什么不该说。

微调相当于送去职业培训。用一批有标准答案的样本，教它在特定任务上按格式回答。这个阶段改变的是「怎么答」，不是「知道什么」。

对齐相当于岗前教育。让人来评判它的回答，好的加分、坏的减分，训练它符合人的偏好——别胡说、别有害、别答非所问。

顺序不能反。没有预训练打底，微调学不会；没有对齐，能力再强也不好用。这三步的投入比例，通常是预训练占绝大部分。

三个阶段各自的输入、产出和成本：

预训练。输入是海量无标注文本，产出是一个会接话但不听话的模型，成本最高，通常只有大公司做。

微调。输入是几千到几万条「问题加标准答案」的样本，产出是会在特定任务上按格式回答的模型，成本中等，企业可以做。

对齐。输入是人工排序的偏好数据，产出是符合使用习惯、相对安全的模型，成本较高，需要标注团队。

还有一种常被提到的「继续预训练」，用行业语料再做一轮预训练，让它更熟悉某个领域的表达。这一环在专业领域用得比较多。

企业实际能参与的，基本只有微调和检索增强这两块。

几个容易混淆的地方。

把微调当知识注入。想让它记住公司的新政策，微调不是合适的手段，因为更新一次要重训一次。

以为对齐是一次性的。它需要持续做，模型更新、用户反馈变化，对齐策略也要跟着调。

把「训练」和「使用」混为一谈。你在对话框里教它怎么回答，那不叫训练，只是当前这轮对话的上下文。

低估数据质量的作用。一万条干净的样本，效果往往好过十万条杂乱的。这一点在微调上体现得特别明显。

看宣传语判断能力。说「经过深度训练」「千亿语料」，这些都不是可验证的信息，看实际效果更靠谱。

还有一点实务提醒：三个阶段的名词在不同厂商嘴里含义不完全一样。同一家说「行业微调」，可能是继续预训练，也可能只是加了一段检索。问清楚它到底做了什么，比记名词有用。

我们试过一次微调，规模不大，体会比较实在。

目的是让模型按固定格式输出产品描述：标题行、三个卖点、一行参数、一行适用场景。原来靠提示词约束，十条里总有两三条格式不对。

准备了两千条样本，都是人工改过的合格输出。训完之后，格式合规率确实上去了，但新问题出现了：它开始把样本里的常用词反复用，描述变得雷同。

后来又加了三百条不同品类的样本，情况好转一些。整个过程花了三周，其中两周在整理数据。

结论是：格式类的问题，微调有效；内容多样性的问题，微调会加重。如果只是要固定格式，先看看能不能用提示词加程序校验解决，成本低得多。

微调和检索增强，取舍可以用三个问题来判断。

知识多久变一次。经常变，用检索，改文件就行；几年不变，微调可以接受。

要解决的是「不知道」还是「说不好」。不知道，用检索；说不好，比如格式不对、语气不对，才考虑微调。

手上有没有干净样本。没有几百条人工改过的合格输出，微调的效果很难保证，这时候做检索更稳。

三个问题的答案基本能定位路线。多数企业的实际情况是：知识变得快、问题是不知道、样本也没有，三条都指向检索。

真正适合微调的场景不多，但确实存在：格式要求极严的批量输出、有稳定标注团队的垂类应用、需要在端上跑的小模型。